Help

Llama-3.1-8B 比 Qwen3-8B 快 21%?8B 模型该选 Meta 还是阿里?

ke chenke chenToday1 replies

This help request is not marked solved yet

10-18 文章数据:Llama-3.1-8B 平均 171.27 tok/s,Qwen3-8B 只有 141.17 tok/s,快 21%。

但我主要跑中文任务,文章说 Qwen3-8B 中文 C-Eval 78.2 vs Llama-3.1-8B 62.4。这就矛盾了:

  • Llama 快 21% 但中文弱
  • Qwen 慢 21% 但中文强

我的场景:RTX 4090 24GB 跑 8B 做客服机器人的意图识别(中英混合)。

问题:

  1. 意图识别任务上,中文能力差距和速度差距哪个更重要?
  2. 有没有人同时跑过这俩的意图识别准确率对比?
  3. 如果中英混合,是不是 Llama 也可以?毕竟英文部分占 40%?

Replies (1)

matrix_wToday

我做过意图识别对比(中英混合 6:4):

  • Llama-3.1-8B: 意图识别准确率 87.2%,171 tok/s
  • Qwen3-8B: 意图识别准确率 89.5%,141 tok/s

Qwen3-8B 准确率高 2.3 个百分点——在意图识别这种"分类"任务上,中文能力差距体现明显。

但 Llama-3.1-8B 快 21%,如果你的场景是高并发实时(每秒 10+ 查询),Llama 更合适。单用户低频查询,Qwen 更好。

你 4090 24GB 跑 8B,两者都能跑。建议先用 Qwen3-8B,如果延迟不满意再换 Llama。

Sign in to reply and join the discussion.

Sign in to reply