NVIDIA RTX PRO 6000 Blackwell 96GB

GPU

74

运行记录

23

覆盖模型

4

覆盖框架

L0 自报 × 6 · L2 跨框架验证 × 68

证据分布

典型性能表现

同硬件上各模型 × 框架 × 量化的已上架实测均值。

  1. vLLM · IQ3_XS Decode 344.94 · Prefill 1590.34 ·
  2. Ollama · IQ2_XS Decode 387.68 · Prefill 2077.1 ·
  3. vLLM · Q2_K Decode 326.52 · Prefill 1378.65 ·
  4. Strata · Q5_K_M Decode 252.2 · Prefill 1116.29 ·
  5. llama.cpp · Q6_K Decode 350.22 · Prefill 1535.88 ·
  6. Strata · Q3_K_S Decode 316.72 · Prefill 1709.01 ·
  7. vLLM · BF16 Decode 177.62 · Prefill 884.45 ·
  8. Ollama · Q4_K_M Decode 264.78 · Prefill 915.82 ·
  9. vLLM · Q3_K_L Decode 327.3 · Prefill 1746.79 ·
  10. Strata · Q3_K_S Decode 343.48 · Prefill 1507.36 ·
  11. vLLM · IQ3_S Decode 304.11 · Prefill 1069.77 ·
  12. vLLM · IQ4_XS Decode 310.08 · Prefill 1540.64 ·
  13. Ollama · Q4_K_M Decode 227.94 · Prefill 779.84 ·
  14. vLLM · IQ3_XS Decode 228.17 · Prefill 758.2 ·
  15. vLLM · Q5_K_M Decode 145.66 · Prefill 731.49 ·
  16. Ollama · IQ3_XS Decode 214.08 · Prefill 806.7 ·
  17. Ollama · Q5_K_S Decode 135.94 · Prefill 501.24 ·
  18. Ollama · IQ1_S Decode 275.81 · Prefill 1195.7 ·
  19. Ollama · IQ4_XS Decode 194.74 · Prefill 889.56 ·
  20. Strata · IQ3_XS Decode 354.49 · Prefill 1856.14 ·
  21. Strata · Q4_K_S Decode 293.11 · Prefill 1298.77 ·
  22. llama.cpp · Q5_K_S Decode 112.25 · Prefill 455.96 ·
  23. Ollama · IQ1_S Decode 182.59 · Prefill 968.64 ·
  24. Ollama · Q6_K Decode 86.06 · Prefill 324.27 ·
  25. llama.cpp · IQ1_S Decode 267.34 · Prefill 934.02 ·
  26. llama.cpp · Q8_0 Decode 105.75 · Prefill 445.38 ·
  27. vLLM · IQ3_S Decode 220.08 · Prefill 989.75 ·
  28. vLLM · IQ3_XS Decode 319.33 · Prefill 1553.22 ·
  29. Ollama · Q5_K_S Decode 301.35 · Prefill 1440.97 ·
  30. vLLM · Q3_K_M Decode 336.72 · Prefill 1847.35 ·
  31. vLLM · Q6_K Decode 245.04 · Prefill 1242.69 ·
  32. Ollama · Q3_K_L Decode 279.88 · Prefill 1395.76 ·
  33. Ollama · Q5_K_S Decode 216.95 · Prefill 820.67 ·
  34. llama.cpp · Q4_K_M Decode 181.73 · Prefill 687.5 ·
  35. llama.cpp · Q6_K Decode 133.14 · Prefill 542.78 ·
  36. Ollama · FP16 Decode 79.58 · Prefill 274.78 ·
  37. Ollama · Q3_K_L Decode 177.2 · Prefill 930.23 ·
  38. vLLM · FP16 Decode 273.07 · Prefill 1476.93 ·
  39. vLLM · IQ3_S Decode 331.56 · Prefill 1317.38 ·
  40. Strata · Q4_K_S Decode 356.54 · Prefill 1576.84 ·
  41. vLLM · Q4_K_S Decode 212.78 · Prefill 1065.77 ·
  42. Ollama · Q3_K_M Decode 221.75 · Prefill 855.6 ·
  43. Ollama · Q5_K_M Decode 148.52 · Prefill 762.34 ·
  44. llama.cpp · Q2_K Decode 305.21 · Prefill 1181.07 ·
  45. Strata · IQ3_S Decode 374.23 · Prefill 1951.46 ·
  46. Strata · Q3_K_L Decode 317.22 · Prefill 1349.4 ·
  47. vLLM · IQ2_XS Decode 189.85 · Prefill 737.75 ·
  48. Ollama · IQ1_S Decode 184.42 · Prefill 842.53 ·
  49. Ollama · Q4_K_S Decode 134.3 · Prefill 614.37 ·
  50. Ollama · IQ3_XS Decode 204.74 · Prefill 1066.91 ·

Fit 判定

按显存与内存带宽做物理估算:选择模型,查看各量化能否装下及预计速度

估算公式:tok/s =(带宽 ÷ 模型占用)× 0.55,借鉴 llmfit;实测以运行记录为准

核心规格

厂商
NVIDIA
显存
96 GB
显存带宽
1792 GB/s

运行记录

共 50 组配置

模型框架量化Decode生成耗时样本数
gemma-4-E4B-itvLLMIQ3_XS344.9 tok/s—1
gemma-4-E4B-itOllamaIQ2_XS387.7 tok/s—1
Ministral-3-8B-Instruct-2512vLLMQ2_K326.5 tok/s—1
Ministral-3-8B-Instruct-2512StrataQ5_K_M252.2 tok/s—1
iFlytek Spark-X2.5-4Bllama.cppQ6_K350.2 tok/s—1
iFlytek Spark-X2.5-4BStrataQ3_K_S316.7 tok/s—1
NVIDIA-Nemotron-3.5-Bolt-E4B-4GBvLLMBF16177.6 tok/s—1
NVIDIA-Nemotron-3.5-Bolt-E4B-4GBOllamaQ4_K_M264.8 tok/s—1
Flint-40B-A2.5BvLLMQ3_K_L327.3 tok/s—1
Flint-40B-A2.5BStrataQ3_K_S343.5 tok/s—1
Raon-1-mini-previewvLLMIQ3_S304.1 tok/s—1
Raon-1-mini-previewvLLMIQ4_XS310.1 tok/s—1
Raon-1-mini-previewOllamaQ4_K_M227.9 tok/s—1
mammoth-1vLLMIQ3_XS228.2 tok/s—1
mammoth-1vLLMQ5_K_M145.7 tok/s—1
mammoth-1OllamaIQ3_XS214.1 tok/s—1
mammoth-1OllamaQ5_K_S135.9 tok/s—1
elephant-1OllamaIQ1_S275.8 tok/s—1
elephant-1OllamaIQ4_XS194.7 tok/s—1
elephant-1StrataIQ3_XS354.5 tok/s—1
elephant-1StrataQ4_K_S293.1 tok/s—1
Qwen3.8-27Bllama.cppQ5_K_S112.3 tok/s—1
Qwen3.8-27BOllamaIQ1_S182.6 tok/s—1
Qwen3.8-27BOllamaQ6_K86.1 tok/s—1
Qwen3.6-27Bllama.cppIQ1_S267.3 tok/s—1
Qwen3.6-27Bllama.cppQ8_0105.8 tok/s—1
Qwen3.6-27BvLLMIQ3_S220.1 tok/s—1
Qwen3.6-35B-A3BvLLMIQ3_XS319.3 tok/s—1
Qwen3.6-35B-A3BOllamaQ5_K_S301.4 tok/s—1
Qwen3.5-4BvLLMQ3_K_M336.7 tok/s—1
Qwen3.5-4BvLLMQ6_K245 tok/s—1
Qwen3.5-4BOllamaQ3_K_L279.9 tok/s—1
Qwen3.5-4BOllamaQ5_K_S216.9 tok/s—1
Qwen3.5-27Bllama.cppQ4_K_M181.7 tok/s—1
Qwen3.5-27Bllama.cppQ6_K133.1 tok/s—1
Qwen3.5-27BOllamaFP1679.6 tok/s—1
Qwen3.5-27BOllamaQ3_K_L177.2 tok/s—1
Qwen3.5-0.8BvLLMFP16273.1 tok/s—1
Qwen3.5-0.8BvLLMIQ3_S331.6 tok/s—1
Qwen3.5-0.8BStrataQ4_K_S356.5 tok/s—1
Qwen3.8-9BvLLMQ4_K_S212.8 tok/s—1
Qwen3.8-9BOllamaQ3_K_M221.8 tok/s—1
Qwen3.8-9BOllamaQ5_K_M148.5 tok/s—1
Qwen3-8Bllama.cppQ2_K305.2 tok/s—1
Qwen3-8BStrataIQ3_S374.2 tok/s—1
Qwen3-8BStrataQ3_K_L317.2 tok/s—1
gemma-4-31B-itvLLMIQ2_XS189.8 tok/s—1
gemma-4-31B-itOllamaIQ1_S184.4 tok/s—1
gemma-4-31B-itOllamaQ4_K_S134.3 tok/s—1
gemma-4-12B-itOllamaIQ3_XS204.7 tok/s—1