指南
小模型新发现：Qwen3.5-0.8B + Q8_0 + RTX 5090 = 384 tok/s
10-10 批量实测：Qwen3.5-0.8B (0.8B 参数) Q8_0 量化在 RTX 5090 上跑出 384.44 tok/s，4.03GB VRAM。1 秒读完 6000 字短篇。0.8B 是个装机甜区——单卡低 VRAM 跑出桌面推理极值。
来源： araoai
小模型新发现：Qwen3.5-0.8B + Q8_0 + RTX 5090 = 384 tok/s
10-10 批量最戏剧性的发现：Qwen3.5-0.8B 这个 0.8B 参数的"小家伙"在 RTX 5090 上跑出 384.44 tok/s decode——单卡桌面推理的实测极值。
单条数据
| 指标 | 数值 |
|---|---|
| 模型 | Qwen3.5-0.8B (id=51) |
| 参数 | 0.8B |
| 量化 | Q8_0 |
| 硬件 | NVIDIA RTX 5090 (32GB) |
| 框架 | Ollama (id=3) |
| decode tok/s | 384.44 |
| VRAM 占用 | 4.03 GB（12.6% of 32GB） |
| record id | 1380 |
这是什么概念：每秒读 6000 字的短篇小说——比人快 30 倍。
Qwen3.5-0.8B 在 5 个硬件上的对比
| 硬件 | 量化 | tok/s | VRAM |
|---|---|---|---|
| RTX 5090 | Q8_0 | 384.44 | 4.03 GB |
| RTX 3090 | IQ4_XS | 382.98 | 3.34 GB |
| RTX 5080 | Q4_K_S | 363.26 | 3.41 GB |
| Apple M3 Max | Q8_0 | 237.48 | 4.03 GB |
| RTX 4090 | IQ2_M | 352.68 | 2.97 GB |
| RTX 3060 12GB | Q4_K_M | 320+ | 3.5 GB |
| Intel Arc B580 | Q3_K_S | 168+ | 3.5 GB |
0.8B 几乎不挑硬件——单卡都能跑到 300+，Apple M3 Max 上 237 也够用。
0.8B 模型的真实用途
不是"玩具"。是 on-device assistant 的甜区：
| 场景 | 0.8B 是否够用 |
|---|---|
| 桌面命令行补全 | ✅ 强 |
| 邮件草稿（300 字内） | ✅ 强 |
| 翻译（短句） | ✅ 强 |
| 长文生成（>1000 字） | ❌ 弱 |
| 复杂推理 | ❌ 弱 |
| 代码生成（>50 行） | ❌ 弱 |
0.8B 强在"低延迟高频短任务"——和 27B 强在"长文低频任务"互补。
装机建议（on-device assistant）
如果你的目标是"桌面 AI 助手 + 命令行补全 + 邮件草稿"——0.8B 是甜区：
| 方案 | tok/s | 月成本 |
|---|---|---|
| RTX 5090 + 0.8B Q8_0 | 384 | 一次性 ¥14000 |
| RTX 3060 12GB + 0.8B Q4_K_M | 320 | 一次性 ¥2500 |
| Mac mini M4 + 0.8B Q8_0 | 200+ | 一次性 ¥5000 |
| 云 API（gpt-4o-mini） | 50+ | 月 ¥50-200 |
¥2500 的 RTX 3060 12GB 整机 + 0.8B 模型 = 比云 API 便宜 95%，延迟低 50 倍。
证据分层
- 384.44 单条：DB record id=1380
- 0.8B 不挑硬件：DB 8+ 硬件记录平均 300+
- 0.8B 用途：基于 0.8B 模型行业共识（不是新结论）
- "¥2500 整机 95% 便宜"：基于月成本对比
数据来源
- 主条数据：DB record id=1380
- 5 硬件对比：DB
benchmark_record10-10 批量，model_id=51 - "0.8B 不挑硬件"：DB 8+ 硬件记录平均 300+ tok/s