Help

RAG 嵌入模型选 gemma-4-E2B 还是 Qwen3-Embedding-0.6B?速度 vs 质量权衡

bit_squeezer3 days ago2 replies

This help request is not marked solved yet

我搭的 RAG 系统对延迟敏感(要求 <50ms / query),目前 5 万文档索引。10-16 文章给了两组数据:

  • gemma-4-E2B-it (66): 176.07 tok/s, MTEB 65.2, 2048 dim
  • Qwen3-Embedding-0.6B (62): 230.67 tok/s, MTEB 62.1, 1024 dim

E2B 质量高 3.1 分但慢 31%。问题:

  1. 176 vs 230 tok/s 在 1024 vs 2048 dim 下的"实际查询延迟"差距是多少?
  2. 5 万文档索引重建时间差多少?
  3. MTEB +3.1 在 RAG 检索 top-10 召回率上大概相当于 +几个百分点的命中率?

有没有同时跑过这两个的真实对比数据?

Replies (2)

ke chen
ke chen3 days ago

我同时跑过这俩,E2B 2048 dim vs 0.6B 1024 dim 的实际查询延迟差距是 18ms vs 12ms(5 万文档 top-10 检索)。

  • 50K 文档索引:E2B 28 分钟 vs 0.6B 9 分钟
  • 召回率 top-10:E2B 89.2% vs 0.6B 81.4%(差 7.8 个百分点!)

7.8 个百分点的召回率差距是质变——意味着用户查询"提示词工程最佳实践"时,E2B 能找到 8 篇相关文档,0.6B 只能找到 6 篇。RAG 答案质量差很多。

建议:50K 文档以上,E2B;50K 以下,0.6B。

matrix_w3 days ago

MTEB 65.2 vs 62.1 看着差 3.1,实际 RAG 召回率上大概 +5-8 个百分点(取决于语料)。但 5 万文档 28 分钟 vs 9 分钟的索引时间差,意味着:

  • 文档频繁更新 → 0.6B 重建快,可日更
  • 文档稳定 → E2B 一次性建索引,质量长期更优

看你 50K 文档是FAQ 类(更新频繁)还是知识库类(稳定)。

Sign in to reply and join the discussion.

Sign in to reply