NVIDIA H20

GPU

65

运行记录

23

覆盖模型

4

覆盖框架

L2 跨框架验证 × 65

证据分布

典型性能表现

同硬件上各模型 × 框架 × 量化的已上架实测均值。

  1. llama.cpp · IQ2_XS Decode 95.17 · Prefill 436.06 ·
  2. vLLM · Q3_K_M Decode 78.41 · Prefill 259.38 ·
  3. vLLM · Q5_K_S Decode 49.64 · Prefill 220.24 ·
  4. Strata · Q4_K_M Decode 73.54 · Prefill 286.94 ·
  5. llama.cpp · Q5_K_S Decode 116.43 · Prefill 457.51 ·
  6. Strata · IQ2_XS Decode 273.22 · Prefill 1069.33 ·
  7. llama.cpp · Q4_K_M Decode 61.75 · Prefill 319.38 ·
  8. Strata · Q4_K_M Decode 91.09 · Prefill 326.32 ·
  9. vLLM · Q4_K_M Decode 94.37 · Prefill 330.77 ·
  10. vLLM · Q6_K Decode 79.46 · Prefill 372.23 ·
  11. Ollama · Q3_K_S Decode 104.76 · Prefill 539.82 ·
  12. Ollama · IQ4_XS Decode 54.63 · Prefill 291.87 ·
  13. Ollama · Q3_K_M Decode 58.6 · Prefill 222.5 ·
  14. Strata · Q5_K_M Decode 68.61 · Prefill 223.86 ·
  15. llama.cpp · FP16 Decode 18.55 · Prefill 67.93 ·
  16. vLLM · IQ4_XS Decode 45.95 · Prefill 201.36 ·
  17. vLLM · FP16 Decode 25.76 · Prefill 119.08 ·
  18. vLLM · IQ2_XS Decode 68.56 · Prefill 374.49 ·
  19. Ollama · Q5_K_M Decode 36.62 · Prefill 154.85 ·
  20. llama.cpp · IQ2_XS Decode 42.1 · Prefill 229.32 ·
  21. Strata · Q2_K Decode 52.83 · Prefill 205.52 ·
  22. Strata · Q4_K_M Decode 39.14 · Prefill 148.55 ·
  23. vLLM · Q3_K_S Decode 48.48 · Prefill 199.47 ·
  24. Ollama · Q4_K_M Decode 32.97 · Prefill 115.23 ·
  25. vLLM · Q3_K_S Decode 118.48 · Prefill 535.48 ·
  26. vLLM · Q8_0 Decode 66.61 · Prefill 237.96 ·
  27. Ollama · Q3_K_M Decode 90.2 · Prefill 441.65 ·
  28. vLLM · Q3_K_S Decode 84.6 · Prefill 335.18 ·
  29. vLLM · Q4_K_M Decode 68.71 · Prefill 315.97 ·
  30. Strata · IQ4_XS Decode 97.77 · Prefill 362.6 ·
  31. vLLM · IQ2_XS Decode 63.17 · Prefill 260.61 ·
  32. vLLM · Q8_0 Decode 27.55 · Prefill 97.34 ·
  33. Strata · IQ3_S Decode 67.46 · Prefill 225.71 ·
  34. llama.cpp · Q3_K_L Decode 129.02 · Prefill 590.22 ·
  35. vLLM · Q4_K_M Decode 121.55 · Prefill 512.9 ·
  36. vLLM · Q8_0 Decode 82.63 · Prefill 440.06 ·
  37. vLLM · IQ3_S Decode 57.73 · Prefill 250.91 ·
  38. vLLM · Q3_K_L Decode 54.56 · Prefill 274.28 ·
  39. Strata · IQ3_S Decode 80.72 · Prefill 287.96 ·
  40. Strata · Q3_K_M Decode 74.4 · Prefill 349.95 ·
  41. llama.cpp · IQ3_S Decode 57.35 · Prefill 209.84 ·
  42. llama.cpp · Q5_K_S Decode 42.52 · Prefill 173.47 ·
  43. Strata · IQ3_S Decode 87.33 · Prefill 444.4 ·
  44. Strata · Q5_K_S Decode 59.66 · Prefill 317.37 ·
  45. vLLM · IQ3_XS Decode 39.95 · Prefill 179.27 ·
  46. vLLM · Q4_K_S Decode 32.57 · Prefill 141.17 ·
  47. Ollama · Q8_0 Decode 18.96 · Prefill 65.76 ·
  48. llama.cpp · IQ2_XS Decode 63.1 · Prefill 298.51 ·
  49. vLLM · Q3_K_L Decode 49.15 · Prefill 244.04 ·
  50. llama.cpp · Q3_K_M Decode 65.35 · Prefill 226.54 ·

Fit 判定

按显存与内存带宽做物理估算:选择模型,查看各量化能否装下及预计速度

估算公式:tok/s =(带宽 ÷ 模型占用)× 0.55,借鉴 llmfit;实测以运行记录为准

核心规格

厂商
NVIDIA
显存
97 GB
显存带宽
4000 GB/s

运行记录

共 50 组配置

模型框架量化Decode生成耗时样本数
gemma-4-E4B-itllama.cppIQ2_XS95.2 tok/s—1
gemma-4-E4B-itvLLMQ3_K_M78.4 tok/s—1
Ministral-3-8B-Instruct-2512vLLMQ5_K_S49.6 tok/s—1
Ministral-3-8B-Instruct-2512StrataQ4_K_M73.5 tok/s—1
iFlytek Spark-X2.5-4Bllama.cppQ5_K_S116.4 tok/s—1
iFlytek Spark-X2.5-4BStrataIQ2_XS273.2 tok/s—1
NVIDIA-Nemotron-3.5-Bolt-E4B-4GBllama.cppQ4_K_M61.8 tok/s—1
NVIDIA-Nemotron-3.5-Bolt-E4B-4GBStrataQ4_K_M91.1 tok/s—1
Flint-40B-A2.5BvLLMQ4_K_M94.4 tok/s—1
Flint-40B-A2.5BvLLMQ6_K79.5 tok/s—1
Flint-40B-A2.5BOllamaQ3_K_S104.8 tok/s—1
Raon-1-mini-previewOllamaIQ4_XS54.6 tok/s—1
Raon-1-mini-previewOllamaQ3_K_M58.6 tok/s—1
Raon-1-mini-previewStrataQ5_K_M68.6 tok/s—1
mammoth-1llama.cppFP1618.6 tok/s—1
mammoth-1vLLMIQ4_XS46 tok/s—1
elephant-1vLLMFP1625.8 tok/s—1
elephant-1vLLMIQ2_XS68.6 tok/s—1
elephant-1OllamaQ5_K_M36.6 tok/s—1
Qwen3.8-27Bllama.cppIQ2_XS42.1 tok/s—1
Qwen3.8-27BStrataQ2_K52.8 tok/s—1
Qwen3.8-27BStrataQ4_K_M39.1 tok/s—1
Qwen3.6-27BvLLMQ3_K_S48.5 tok/s—1
Qwen3.6-27BOllamaQ4_K_M33 tok/s—1
Qwen3.6-35B-A3BvLLMQ3_K_S118.5 tok/s—1
Qwen3.6-35B-A3BvLLMQ8_066.6 tok/s—1
Qwen3.6-35B-A3BOllamaQ3_K_M90.2 tok/s—1
Qwen3.5-4BvLLMQ3_K_S84.6 tok/s—1
Qwen3.5-4BvLLMQ4_K_M68.7 tok/s—1
Qwen3.5-4BStrataIQ4_XS97.8 tok/s—1
Qwen3.5-27BvLLMIQ2_XS63.2 tok/s—1
Qwen3.5-27BvLLMQ8_027.6 tok/s—1
Qwen3.5-27BStrataIQ3_S67.5 tok/s—1
Qwen3.5-0.8Bllama.cppQ3_K_L129 tok/s—1
Qwen3.5-0.8BvLLMQ4_K_M121.5 tok/s—1
Qwen3.5-0.8BvLLMQ8_082.6 tok/s—1
Qwen3.8-9BvLLMIQ3_S57.7 tok/s—1
Qwen3.8-9BvLLMQ3_K_L54.6 tok/s—1
Qwen3.8-9BStrataIQ3_S80.7 tok/s—1
Qwen3.8-9BStrataQ3_K_M74.4 tok/s—1
Qwen3-8Bllama.cppIQ3_S57.4 tok/s—1
Qwen3-8Bllama.cppQ5_K_S42.5 tok/s—1
Qwen3-8BStrataIQ3_S87.3 tok/s—1
Qwen3-8BStrataQ5_K_S59.7 tok/s—1
gemma-4-31B-itvLLMIQ3_XS40 tok/s—1
gemma-4-31B-itvLLMQ4_K_S32.6 tok/s—1
gemma-4-31B-itOllamaQ8_019 tok/s—1
gemma-4-12B-itllama.cppIQ2_XS63.1 tok/s—1
gemma-4-12B-itvLLMQ3_K_L49.1 tok/s—1
Llama-3.1-8B-Instructllama.cppQ3_K_M65.3 tok/s—1