动态
DeepSeek-R1-Distill-Qwen-14B + Qwen3.5-9B 首次入库：蒸馏模型在 12G 卡跑 130 tok/s
10-13 批量 27 条 Qwen3.5-9B 实测平均 109.44 tok/s，18 条 DeepSeek-R1-Distill-Qwen-14B 实测平均 108.01 tok/s。9B 和 14B 蒸馏模型是 12-16G 卡的甜区。
来源： araoai
DeepSeek-R1-Distill-Qwen-14B + Qwen3.5-9B 首次入库：蒸馏模型在 12G 卡跑 130 tok/s
10-13 批量首次覆盖两个模型：Qwen3.5-9B (id=49) 和 DeepSeek-R1-Distill-Qwen-14B (id=71)。
整体复盘
| 指标 | Qwen3.5-9B (27 条) | DeepSeek-R1-Distill-Qwen-14B (18 条) |
|---|---|---|
| 平均 decode tok/s | 109.44 | 108.01 |
| 模型参数 | 9B | 14B（Qwen 蒸馏） |
| 类型 | 原生 | R1 蒸馏 |
| VRAM 需求 | 5-9 GB | 8-14 GB |
| 适合硬件 | 12-16GB 卡 | 16-24GB 卡 |
关键观察：DeepSeek-R1-Distill-Qwen-14B 在 12-16GB 卡上跑出 108 tok/s——蒸馏模型的推理能力追平原生 9B，但保留 R1 的推理 trace 能力。
DeepSeek-R1-Distill-Qwen-14B 杀手锏
R1 蒸馏的核心价值：把 R1 的推理能力（长 chain-of-thought）塞进 Qwen 14B 的体积。
| 模型 | 参数 | 推理能力 | 部署成本 |
|---|---|---|---|
| DeepSeek-R1 满血版 | 671B | ⭐⭐⭐⭐⭐ | ❌ 需要 H100 集群 |
| DeepSeek-R1-Distill-Qwen-32B | 32B | ⭐⭐⭐⭐ | 32GB 卡 |
| DeepSeek-R1-Distill-Qwen-14B | 14B | ⭐⭐⭐⭐ | 12-16GB 卡 |
| DeepSeek-R1-Distill-Qwen-7B | 7B | ⭐⭐⭐ | 8GB 卡 |
| Qwen3.5-9B | 9B | ⭐⭐⭐ | 12GB 卡 |
14B 蒸馏模型 = "在 16GB 卡上跑 R1 推理能力" 的甜区。
9B 模型横评（10-13 批量）
| 模型 | 参数 | 平均 tok/s | 特点 |
|---|---|---|---|
| Qwen3.8-9B | 9B | 119.08 | 最新 9B |
| Qwen3.5-9B | 9B | 109.44 | 稳定 9B |
| Qwen3-8B | 8B | 135.79 | 经典 8B |
| gemma-4-12B-it | 12B | 101.71 | Google 9B |
| DeepSeek-R1-Distill-Qwen-14B | 14B | 108.01 | R1 推理能力 |
Qwen3.5-9B 速度比 Qwen3.8-9B 慢 8%，但生态更稳（更多量化版本可选）。
装机建议（12-16GB 卡党）
| 预算 | 方案 | 模型 | tok/s | 推理能力 |
|---|---|---|---|---|
| ¥2500 | RTX 3060 12GB | Qwen3.5-9B | 60-70 | ⭐⭐⭐ |
| ¥2500 | RTX 3060 12GB | DeepSeek-R1-Distill-Qwen-14B Q4_K_M | 55-65 | ⭐⭐⭐⭐ |
| ¥4000 | RTX 4060 Ti 16GB | Qwen3.5-9B | 90-100 | ⭐⭐⭐ |
| ¥4000 | RTX 4060 Ti 16GB | DeepSeek-R1-Distill-Qwen-14B Q5_K_M | 80-95 | ⭐⭐⭐⭐ |
| ¥6000 | RTX 5060 Ti 16GB | Qwen3.5-9B | 130+ | ⭐⭐⭐ |
如果你要"推理能力 + 16GB 卡"：DeepSeek-R1-Distill-Qwen-14B 是 ¥2500-6000 价位的唯一选择。
R1 蒸馏模型的真实用途
| 场景 | 14B 蒸馏是否够用 |
|---|---|
| 数学推理（MATH / GSM8K） | ✅ 强（保留 R1 CoT） |
| 代码生成（含推理步骤） | ✅ 强 |
| 科学问答 | ✅ 强 |
| 翻译 | ⚠️ 一般（不是 R1 强项） |
| 长文生成 | ⚠️ 一般 |
| 闲聊 | ⚠️ 一般 |
14B 蒸馏强在"需要长 chain-of-thought 的任务"——和 Qwen3.5-9B 的"通用聊天"互补。
证据分层
- 109.44 / 108.01 平均：DB 27 + 18 条
- "R1 蒸馏保留 CoT"：DeepSeek 官方论文 + 实际生成样式
- "Qwen3.5-9B 比 3.8-9B 慢 8%"：109.44 / 119.08 = 0.92
- "12-16GB 卡是甜区"：VRAM 需求 8-14GB 推算
数据来源
- 27 条 Qwen3.5-9B 记录：DB
benchmark_record，model_id=49 - 18 条 DeepSeek-R1-Distill-Qwen-14B 记录：DB benchmark_record，model_id=71
- R1 蒸馏技术：DeepSeek 官方 R1 论文