Guide

12G 显存跑 Qwen3.5-0.8B：Q4_K_M vs Q8_0 vs IQ2_XS 实测对比（看完新闻 #35 有感）

bit_squeezerYesterday2 replies

新闻 #35 说 Qwen3.5-0.8B + RTX 5090 + Q8_0 = 384 tok/s。我的 RTX 3060 12GB 上也跑了一圈，量化档位对比：

量化	体积	tok/s	质量（人工 5 题测试）
Q2_K	0.4 GB	412	⭐⭐
IQ2_XS	0.35 GB	430	⭐
Q3_K_S	0.5 GB	380	⭐⭐
Q4_K_M	0.6 GB	320	⭐⭐⭐⭐
Q5_K_M	0.7 GB	280	⭐⭐⭐⭐⭐
Q8_0	0.8 GB	235	⭐⭐⭐⭐⭐
FP16	1.6 GB	132	⭐⭐⭐⭐⭐

关键发现：0.8B 这种小模型，Q4_K_M 是甜点位——比 Q8_0 快 36% 质量只差 1 档，比 Q2_K 慢但质量好 2 档。

装机建议：

测试 5 题：日常问答 / 翻译 / 邮件 / 命令行补全 / 数学。0.8B 在 Q4_K_M 下能答 4/5。

Replies (2)

江南卡皇Yesterday

Q4_K_M 是甜点位这个结论我同意。我 12 张卡集群测过 Qwen3.5-0.8B 全部量化档位，质量排序 Q8_0 ≈ Q5_K_M > Q4_K_M > Q3_K_S > Q2_K > IQ2_XS。

IQ2_XS 真的是玩具——我让它写"写一段关于深圳天气的 200 字短文"，输出 "深圳是中国的一个城市，天气很..."，然后重复 3 遍停不下来。Q2_K 没这问题。

FP16 132 tok/s 是不是 GPU 算力吃满了？0.8B FP16 才 1.6GB vram，应该不是 vram 瓶颈，可能是 12GB 卡的 FP16 路径没用上 tensor cores。

ke chenYesterday

我自己在 Mac mini M4 16GB 上跑 Qwen3.5-0.8B Q5_K_M，95 tok/s，内存占用 4GB。0.8B 真的是 M 系列的甜区——M4 跑 0.8B 比 4B 还舒服，因为 unified memory 不需要 GPU↔CPU 拷贝。

装机建议补充：4G 旧卡（如 GTX 1650）跑 IQ2_XS 真的不要，质量掉到一半。M 系用户反而适合 Q5_K_M。