NVIDIA RTX 5090

GPU

Blackwell 架构旗舰(GB202),32GB GDDR7 / 512-bit 位宽,显存带宽约 1.79 TB/s,整卡功耗 575W。

288

运行记录

46

覆盖模型

8

覆盖框架

L0 自报 × 122 · L1 已复现 × 1 · L2 跨框架验证 × 165

证据分布

典型性能表现

同硬件上各模型 × 框架 × 量化的已上架实测均值。

  1. llama.cpp · IQ1_S Decode 381.92 · Prefill 1480.95 ·
  2. vLLM · Q3_K_S Decode 337.39 · Prefill 1195.07 ·
  3. vLLM · BF16 Decode 171.53 · Prefill 804.96 ·
  4. Ollama · Q4_K_M Decode 279.75 · Prefill 1289.8 ·
  5. Ollama · Q2_K Decode 351.2 · Prefill 1172.76 ·
  6. llama.cpp · Q4_K_S Decode 219.01 · Prefill 766.77 ·
  7. Ollama · Q5_K_S Decode 174.79 · Prefill 860.94 ·
  8. Ollama · Q8_0 Decode 138.97 · Prefill 570.96 ·
  9. llama.cpp · IQ2_M Decode 200.6 · Prefill 837.93 ·
  10. Ollama · IQ1_S Decode 346.53 · Prefill 1247.2 ·
  11. vLLM · IQ1_S Decode 332.71 · Prefill 1515.74 ·
  12. Strata · Q6_K Decode 310.61 · Prefill 1498.07 ·
  13. Ollama · IQ3_XS Decode 206.43 · Prefill 827.13 ·
  14. Strata · Q2_K Decode 376.49 · Prefill 1620.15 ·
  15. vLLM · Q5_K_S Decode 316.53 · Prefill 1148.64 ·
  16. Ollama · Q3_K_M Decode 315.13 · Prefill 1204.27 ·
  17. llama.cpp · IQ2_XS Decode 304.42 · Prefill 1543.97 ·
  18. llama.cpp · Q3_K_S Decode 289.63 · Prefill 1418.95 ·
  19. vLLM · Q2_K Decode 312.49 · Prefill 1617.22 ·
  20. vLLM · Q8_0 Decode 156.33 · Prefill 685.96 ·
  21. Ollama · IQ3_S Decode 275.39 · Prefill 1404.89 ·
  22. Strata · IQ4_XS Decode 340.69 · Prefill 1198.68 ·
  23. Strata · IQ2_M Decode 284.29 · Prefill 1098.95 ·
  24. llama.cpp · IQ2_XS Decode 262.05 · Prefill 997.54 ·
  25. llama.cpp · Q8_0 Decode 125.52 · Prefill 751.15 ·
  26. Ollama · Q3_K_S Decode 236.13 · Prefill 819.72 ·
  27. Ollama · Q5_K_S Decode 165.12 · Prefill 690.64 ·
  28. Ollama · Q5_K_S Decode 220.5 · Prefill 854 ·
  29. Strata · IQ3_S Decode 280 · Prefill 1358.66 ·
  30. Strata · Q5_K_M Decode 297.96 · Prefill 1229.8 ·
  31. vLLM · IQ3_XS Decode 353.35 · Prefill 1757.41 ·
  32. vLLM · Q4_K_M Decode 288.35 · Prefill 1282.34 ·
  33. Ollama · Q5_K_M Decode 226.28 · Prefill 869.25 ·
  34. llama.cpp · Q4_K_S Decode 375.58 · Prefill 1439.62 ·
  35. llama.cpp · Q5_K_S Decode 373.63 · Prefill 1720.71 ·
  36. vLLM · IQ4_XS Decode 321.22 · Prefill 1224.88 ·
  37. vLLM · Q6_K Decode 292.37 · Prefill 1232.31 ·
  38. vLLM · Q8_0 Decode 145.18 · Prefill 478.54 ·
  39. Ollama · IQ3_XS Decode 161.9 · Prefill 672.48 ·
  40. Ollama · IQ2_M Decode 234.19 · Prefill 870.04 ·
  41. llama.cpp · Q3_K_M Decode 377.37 · Prefill 1718.05 ·
  42. llama.cpp · Q4_K_S Decode 334.66 · Prefill 1225.86 ·
  43. Strata · Q2_K Decode 338.27 · Prefill 1161 ·
  44. Strata · Q4_K_M Decode 318.56 · Prefill 1437.9 ·
  45. llama.cpp · Q2_K Decode 378.36 · Prefill 1748.97 ·
  46. vLLM · Q3_K_M Decode 330.24 · Prefill 1384.87 ·
  47. vLLM · Q4_K_S Decode 330.77 · Prefill 1336.98 ·
  48. Ollama · Q3_K_S Decode 237.4 · Prefill 1150.93 ·
  49. Strata · Q3_K_L Decode 349.94 · Prefill 1124.59 ·
  50. llama.cpp · IQ4_XS Decode 256.42 · Prefill 1150.82 ·

Fit 判定

按显存与内存带宽做物理估算:选择模型,查看各量化能否装下及预计速度

估算公式:tok/s =(带宽 ÷ 模型占用)× 0.55,借鉴 llmfit;实测以运行记录为准

核心规格

厂商
NVIDIA
架构
Blackwell
显存
32 GB
显存带宽
1792 GB/s
TDP 功耗
575 W
发布日期
2025-01-30

运行记录

共 50 组配置

模型框架量化Decode生成耗时样本数
Ministral-3-8B-Instruct-2512llama.cppIQ1_S381.9 tok/s—1
Ministral-3-8B-Instruct-2512vLLMQ3_K_S337.4 tok/s—1
NVIDIA-Nemotron-3.5-Bolt-E4B-4GBvLLMBF16171.5 tok/s—1
NVIDIA-Nemotron-3.5-Bolt-E4B-4GBOllamaQ4_K_M279.8 tok/s—1
Raon-1-mini-previewOllamaQ2_K351.2 tok/s—1
elephant-1llama.cppQ4_K_S219 tok/s—1
elephant-1OllamaQ5_K_S174.8 tok/s—1
elephant-1OllamaQ8_0139 tok/s—1
Qwen3.8-27Bllama.cppIQ2_M200.6 tok/s—1
Qwen3.6-35B-A3BOllamaIQ1_S346.5 tok/s—1
Qwen3.5-4BvLLMIQ1_S332.7 tok/s—1
Qwen3.5-4BStrataQ6_K310.6 tok/s—1
Qwen3.5-27BOllamaIQ3_XS206.4 tok/s—1
Qwen3.5-27BStrataQ2_K376.5 tok/s—2
Qwen3.5-0.8BvLLMQ5_K_S316.5 tok/s—1
Qwen3.5-0.8BOllamaQ3_K_M315.1 tok/s—1
Qwen3.8-9Bllama.cppIQ2_XS304.4 tok/s—1
Qwen3.8-9Bllama.cppQ3_K_S289.6 tok/s—1
Qwen3.8-9BvLLMQ2_K312.5 tok/s—1
Qwen3.8-9BvLLMQ8_0156.3 tok/s—2
Qwen3-8BOllamaIQ3_S275.4 tok/s—1
Qwen3-8BStrataIQ4_XS340.7 tok/s—1
gemma-4-31B-itStrataIQ2_M284.3 tok/s—1
gemma-4-12B-itllama.cppIQ2_XS262.1 tok/s—2
gemma-4-12B-itllama.cppQ8_0125.5 tok/s—2
gemma-4-12B-itOllamaQ3_K_S236.1 tok/s—1
gemma-4-12B-itOllamaQ5_K_S165.1 tok/s—1
Llama-3.1-8B-InstructOllamaQ5_K_S220.5 tok/s—1
Llama-3.1-8B-InstructStrataIQ3_S280 tok/s—1
Llama-3.1-8B-InstructStrataQ5_K_M298 tok/s—1
Llama-3-8B-InstructvLLMIQ3_XS353.4 tok/s—2
Llama-3-8B-InstructvLLMQ4_K_M288.4 tok/s—1
Llama-3-8B-InstructOllamaQ5_K_M226.3 tok/s—1
Llama-3.2-3B-Instructllama.cppQ4_K_S375.6 tok/s—2
Llama-3.2-3B-Instructllama.cppQ5_K_S373.6 tok/s—1
Llama-3.2-3B-InstructvLLMIQ4_XS321.2 tok/s—1
Llama-3.2-3B-InstructvLLMQ6_K292.4 tok/s—1
DeepSeek-R1-Distill-Qwen-14BvLLMQ8_0145.2 tok/s—1
Qwen3.8-27BOllamaIQ3_XS161.9 tok/s—1
Qwen3.6-27BOllamaIQ2_M234.2 tok/s—1
Qwen3.5-4Bllama.cppQ3_K_M377.4 tok/s—1
Qwen3.5-4Bllama.cppQ4_K_S334.7 tok/s—2
Qwen3.5-4BStrataQ2_K338.3 tok/s—1
Qwen3.5-4BStrataQ4_K_M318.6 tok/s—1
Qwen3.5-0.8Bllama.cppQ2_K378.4 tok/s—1
Qwen3.5-0.8BvLLMQ3_K_M330.2 tok/s—1
Qwen3.5-0.8BvLLMQ4_K_S330.8 tok/s—1
Qwen3.8-9BOllamaQ3_K_S237.4 tok/s—1
Qwen3.8-9BStrataQ3_K_L349.9 tok/s—1
Qwen3-8Bllama.cppIQ4_XS256.4 tok/s—2