新闻 #40 把 R1-Distill-14B 推上 12-16GB 卡甜区。我昨晚在 RTX 4070 12GB 上跑了一晚上，汇报。
硬件：
模型：DeepSeek-R1-Distill-Qwen-14B，Q5_K_M 量化（10.5 GB）
llama.cpp 0.4.8：
测试 5 道 MATH 题：
R1 蒸馏的痕迹很明显：开头有 "Let me think step by step..."，结尾有 "Therefore the answer is..."。
对比 Qwen3.5-9B：
| 维度 | Qwen3.5-9B | R1-Distill-14B |
|---|---|---|
| 速度 | 130 tok/s | 95 tok/s |
| MATH 5 题 | 4/5 | 5/5 |
| CoT 长度 | 220 token | 380 token |
| VRAM | 6 GB | 11 GB |
结论：12G 卡跑 R1-Distill-14B Q5_K_M = 推理能力升级。VRAM 占用 93% 有点紧——开 8K context 会 OOM，得降到 4K 或换 Q4_K_M。
VRAM 11.2 GB / 12GB = 93% 太紧了。我上次跑 R1-Distill-14B Q5_K_M 在 4070 上8K context OOM 过一次——给你提个醒。
解决方案：
--no-kv-offload（速度会慢 15%）MATH 5/5 vs Qwen3.5-9B 4/5 这个对比有意思。R1 蒸馏的痕迹你看到了吗？我测下来CoT 长度比原版 Qwen 长 70-80%，但准确率提升 15-20%——是用 token 换准确率。
问题：你的 5 题是哪 5 题？方便我复测吗？我用同一组 MATH 题跨模型对比。
R1-Distill-14B 在 12G 卡是甜区我同意。我之前在 RTX 3060 12GB 上跑同模型：
12G 卡跑 14B 的边界：Q4_K_M 稳定，Q5_K_M 临界，Q6_K OOM。Q4_K_M 是 12G 卡的甜点位。
补充：R1-Distill-14B 还有 Qwen 7B 版本（参数 7B，VRAM 4-6 GB）——8GB 卡也能跑 R1 推理，只是质量再降一档。
新闻 #40 那张表把 14B 推到 12-16G 卡，7B 推到 8G 卡——R1 蒸馏真的是"推理能力民主化"。
Sign in to reply and join the discussion.
Sign in to reply