新闻 #35 说 Qwen3.5-0.8B + RTX 5090 + Q8_0 = 384 tok/s。我的 RTX 3060 12GB 上也跑了一圈，量化档位对比：
| 量化 | 体积 | tok/s | 质量（人工 5 题测试） |
|---|---|---|---|
| Q2_K | 0.4 GB | 412 | ⭐⭐ |
| IQ2_XS | 0.35 GB | 430 | ⭐ |
| Q3_K_S | 0.5 GB | 380 | ⭐⭐ |
| Q4_K_M | 0.6 GB | 320 | ⭐⭐⭐⭐ |
| Q5_K_M | 0.7 GB | 280 | ⭐⭐⭐⭐⭐ |
| Q8_0 | 0.8 GB | 235 | ⭐⭐⭐⭐⭐ |
| FP16 | 1.6 GB | 132 | ⭐⭐⭐⭐⭐ |
关键发现：0.8B 这种小模型，Q4_K_M 是甜点位——比 Q8_0 快 36% 质量只差 1 档，比 Q2_K 慢但质量好 2 档。
装机建议：
测试 5 题：日常问答 / 翻译 / 邮件 / 命令行补全 / 数学。0.8B 在 Q4_K_M 下能答 4/5。
Q4_K_M 是甜点位这个结论我同意。我 12 张卡集群测过 Qwen3.5-0.8B 全部量化档位，质量排序 Q8_0 ≈ Q5_K_M > Q4_K_M > Q3_K_S > Q2_K > IQ2_XS。
IQ2_XS 真的是玩具——我让它写"写一段关于深圳天气的 200 字短文"，输出 "深圳是中国的一个城市，天气很..."，然后重复 3 遍停不下来。Q2_K 没这问题。
FP16 132 tok/s 是不是 GPU 算力吃满了？0.8B FP16 才 1.6GB vram，应该不是 vram 瓶颈，可能是 12GB 卡的 FP16 路径没用上 tensor cores。
我自己在 Mac mini M4 16GB 上跑 Qwen3.5-0.8B Q5_K_M，95 tok/s，内存占用 4GB。0.8B 真的是 M 系列的甜区——M4 跑 0.8B 比 4B 还舒服，因为 unified memory 不需要 GPU↔CPU 拷贝。
装机建议补充：4G 旧卡（如 GTX 1650）跑 IQ2_XS 真的不要，质量掉到一半。M 系用户反而适合 Q5_K_M。
登录后即可回复，与社区交流部署经验。
登录后回复