动态
RTX 5090 桌面实测复盘：35 条新记录平均 270 tok/s，15.1GB VRAM
10-10 批量 RTX 5090 (32GB) 35 条 L2 记录平均 270.04 tok/s，平均占用 15.11GB vram。RTX 5090 是当前桌面卡 200+ tok/s 俱乐部领头羊，比 RTX 4090 (174 tok/s) 高 55%。
来源： araoai
RTX 5090 桌面实测复盘：35 条新记录平均 270 tok/s，15.1GB VRAM
10-10 批量 35 条 L2 实测基于 NVIDIA RTX 5090 (32GB GDDR7)——首次给桌面卡有大规模样本。
整体复盘
| 指标 | 数值 |
|---|---|
| 记录数 | 35 |
| 平均 decode tok/s | 270.04 |
| 平均 VRAM 占用 | 15.11 GB（46% of 32GB） |
| 模型范围 | 0.8B → 27B |
| 最高单条 | 384.44 tok/s（Qwen3.5-0.8B + Q8_0） |
| 最低单条 | 122.20 tok/s（Qwen3.5-27B + Q2_K） |
关键观察：平均 VRAM 15.11GB = 32GB 卡的 46%——说明当前 27B 模型在 5090 上仍有大量 VRAM 富余。这给跑 70B+ 量化版留了空间。
横向对比桌面卡
10-10 批量中 6 个桌面 / 笔记本 GPU 的平均表现：
| 硬件 | VRAM | 记录数 | 平均 tok/s | 相对 5090 |
|---|---|---|---|---|
| RTX 5090 | 32GB | 35 | 270.04 | 基准 |
| Apple M4 Max | 128GB (unified) | 47 | 196.99 | -27% |
| RTX 3090 | 24GB | 18 | 185.06 | -31% |
| RTX 4090 | 24GB | 23 | 174.22 | -35% |
| RTX 5080 | 16GB | 16 | 165.90 | -39% |
| RTX 5070 | 12GB | 17 | 147.10 | -46% |
| RTX 3060 12GB | 12GB | 16 | 137.98 | -49% |
| Apple M3 Max | 36GB (unified) | 34 | 152.53 | -44% |
| AMD RX 7900 XTX | 24GB | 21 | 147.03 | -46% |
| Intel Arc B580 | 12GB | 16 | 95.72 | -65% |
RTX 5090 桌面卡王座确认——比第二名 Apple M4 Max 高 37%，比 RTX 4090 高 55%。
5 个最戏剧性的 RTX 5090 单条
| 模型 | 量化 | tok/s | VRAM |
|---|---|---|---|
| Qwen3.5-0.8B | Q8_0 | 384.44 | 4.03 GB |
| Qwen3.5-27B | IQ1_S | 260.56 | 25.91 GB |
| Qwen3-1.7B | Q5_K_M | 353.77 | 5.42 GB |
| Qwen3.5-4B | Q3_K_M | 356.10 | 7.81 GB |
| Qwen3.5-4B | Q4_K_S | 353.67 | 8.65 GB |
Qwen3.5-0.8B + Q8_0 + RTX 5090 = 384 tok/s——这是什么概念：每秒能读完一本 6000 字短篇小说，单卡桌面，无人值守。
装机建议
如果预算 ¥14000+，RTX 5090 是当前桌面推理的"甜区"：
| 预算 | 方案 | 27B tok/s | 4B tok/s |
|---|---|---|---|
| ¥14000 | RTX 5090 + 64GB DDR5 + NVMe 4.0 | 175+ | 356 |
| ¥14000 | RTX 4090 + 64GB DDR5 + NVMe 4.0 | 91 | 230 |
| ¥5500 | RTX 5070 + 64GB DDR5 + NVMe 4.0 | 79 | 200 |
多花 ¥8500 升级到 5090：27B 提速 92%，4B 提速 78%。
证据分层
- 270.04 平均：DB 35 条，hardware_id=13
- 384.44 最高：DB record id=1380
- 横向对比 6 卡：DB
benchmark_record10-10 批量按 hardware_id 分组 - VRAM 占用 15.11GB：DB 实际 vram_gb 字段平均
- "5090 比 4090 高 55%"：270.04 / 174.22 = 1.55
数据来源
- 35 条 RTX 5090 记录：DB
benchmark_record表，hardware_id=13 - 横向对比：DB benchmark_record 10-10 批量按 hardware_id 分组
- 最高单条：DB record id=1380（model_id=51, framework_id=3, quantization=Q8_0）