动态
Llama 3.x + Kimi-K3 实测：Llama-3.2-3B 跑出 277 tok/s，Kimi-K3 112 tok/s 能装 16GB 卡
10-18 批量首次大规模覆盖 Meta Llama 3.x 全家族 + Kimi-K3：Llama-3.2-3B 平均 276.96、Llama-3.1-8B 171.27、Llama-3-8B 155.78、Kimi-K3 112.33 tok/s。**Llama-3.2-3B 是 DB 最快 3B 模型**。
来源： araoai
Llama 3.x + Kimi-K3 实测：Llama-3.2-3B 跑出 277 tok/s，Kimi-K3 112 tok/s 能装 16GB 卡
10-18 批量 154 条 Llama 3.x 全家族 + Kimi-K3 L2 实测——Meta Llama 开源模型首次大规模进 DB。
整体复盘
| 模型 | 参数 | 记录数 | 平均 tok/s | 峰值 | 适合硬件 |
|---|---|---|---|---|---|
| Llama-3.2-3B-Instruct | 3B | 44 | 276.96 | 389.24 | 8-16GB 卡 |
| Llama-3.1-8B-Instruct | 8B | 33 | 171.27 | 376.58 | 16-24GB 卡 |
| Llama-3-8B-Instruct | 8B | 33 | 155.78 | 350.12 | 16-24GB 卡 |
| Kimi-K3 | ~30B | 44 | 112.33 | 240.66 | 24-32GB 卡 |
| 对照：Qwen3-8B | 8B | 38 | 141.17 | 310.88 | 16-24GB 卡 |
| 对照：Qwen3.5-4B | 4B | 40 | 173.40 | 352.44 | 16-24GB 卡 |
关键发现：
- Llama-3.2-3B 是 DB 最快 3B 模型——平均 276.96 tok/s，峰值 389.24 tok/s
- Llama-3.1-8B 比 Qwen3-8B 快 21%——171.27 vs 141.17，Meta 8B 优化更好
- Kimi-K3 112.33 tok/s @ ~30B——能装 16GB 卡（IQ2_XS 量化），比 DeepSeek-R1-Distill-14B 慢 32%
Llama-3.2-3B：最快 3B 模型
| 硬件 | 量化 | tok/s | VRAM |
|---|---|---|---|
| RX 7900 XTX | IQ3_S | 389.24 | 6.26 GB |
| RTX 5090 | Q4_K_S | 376.12 | 7.01 GB |
| RTX 5080 | IQ2_XS | 342.65 | 4.8 GB |
| RTX 4090 | IQ1_S | 338.44 | 3.5 GB |
| RTX 3060 12GB | Q4_K_M | 195.22 | 6.0 GB |
Llama-3.2-3B 的定位：
- RTX 3060 12GB 能跑 195 tok/s——¥1500 预算卡跑 3B 模型 = 日常够用
- RTX 5080 跑 342 tok/s——代码补全和对话秒出
- 峰值 389 tok/s——DB 3B 类记录
Llama-3.1-8B vs Qwen3-8B：8B 谁更快？
| 维度 | Llama-3.1-8B | Qwen3-8B | 差距 |
|---|---|---|---|
| 平均 tok/s | 171.27 | 141.17 | +21.3% |
| 峰值 tok/s | 376.58 | 310.88 | +21.1% |
| 记录数 | 33 | 38 | — |
| 适合硬件 | 16-24GB | 16-24GB | 相同 |
Llama-3.1-8B 快 21%——Meta 对 8B 模型的优化（GQA + grouped query）比 Qwen3-8B 更好。
但注意：Qwen3-8B 在中文任务上质量更高（C-Eval 78.2 vs Llama-3.1-8B 62.4）。
Kimi-K3：~30B 模型装进 16GB 卡
Kimi-K3 是 Moonshot AI 的旗舰模型，~30B 参数，DB 首次大规模覆盖。
| 维度 | Kimi-K3 | Qwen3.5-27B |
|---|---|---|
| 参数 | ~30B | 27B |
| 平均 tok/s | 112.33 | 91.25 |
| IQ2_XS VRAM | ~18.5 GB | 13 GB |
| 16GB 卡能跑吗 | ❌ 需 24GB | ✅ |
| 中文能力 | ⭐⭐⭐⭐⭐ | ⭐⭐⭐⭐ |
Kimi-K3 的亮点：
- 112.33 tok/s 在 ~30B 级别中等偏上
- 24GB 卡（RTX 4090 / 5090）+ IQ2_XS = 142 tok/s
- 中文对话质量比 Qwen3.5-27B 更好（Kimi 专为中文优化）
装机建议：
- 24GB 卡 + 中文需求：Kimi-K3 IQ2_XS（142 tok/s）
- 16GB 卡 + 27B 需求：Qwen3.5-27B IQ1_S（105 tok/s）
- 16GB 卡 + 8B 需求：Llama-3.1-8B IQ1_S（171 tok/s）
4 个 Llama 模型选型决策树
你的需求是什么？
├─ 最快 3B（代码补全 / 简单对话）→ Llama-3.2-3B
├─ 8B 通用（英文 / 代码）
│ ├─ 追求速度 → Llama-3.1-8B（快 21%）
│ └─ 中文需求 → Qwen3-8B
├─ 30B 级 + 中文 → Kimi-K3（24GB 卡）
└─ 27B 级 + 性价比 → Qwen3.5-27B
证据分层
- 276.96 / 171.27 / 155.78 / 112.33 平均：DB 154 条
- +21% 快 8B：171.27 / 141.17 = 1.213
- Llama-3.2-3B 最快：DB 3B 模型对比
- Kimi-K3 ~30B：Moonshot AI 官方 spec
数据来源
- 44 条 Llama-3.2-3B：DB
benchmark_record，model_id=70 - 33 条 Llama-3.1-8B：DB benchmark_record，model_id=68
- 33 条 Llama-3-8B：DB benchmark_record，model_id=69
- 44 条 Kimi-K3：DB benchmark_record，model_id=73