NVIDIA H100 80GB HBM3

GPU

60

运行记录

22

覆盖模型

4

覆盖框架

L2 跨框架验证 × 60

证据分布

典型性能表现

同硬件上各模型 × 框架 × 量化的已上架实测均值。

  1. llama.cpp · IQ3_XS Decode 297.43 · Prefill 1240.57 ·
  2. vLLM · Q3_K_S Decode 343.31 · Prefill 1851.05 ·
  3. llama.cpp · Q8_0 Decode 271.67 · Prefill 1471.82 ·
  4. vLLM · Q3_K_M Decode 321.73 · Prefill 1464.84 ·
  5. Ollama · IQ2_XS Decode 285.58 · Prefill 1151.82 ·
  6. Strata · Q3_K_S Decode 291.71 · Prefill 1407.26 ·
  7. Ollama · Q4_K_M Decode 345.26 · Prefill 1726.58 ·
  8. Strata · Q4_K_M Decode 317.23 · Prefill 1729.64 ·
  9. vLLM · IQ2_M Decode 325.98 · Prefill 1095.54 ·
  10. llama.cpp · Q6_K Decode 343.53 · Prefill 1745.18 ·
  11. Ollama · Q3_K_S Decode 313.56 · Prefill 1182.08 ·
  12. llama.cpp · Q4_K_S Decode 342.54 · Prefill 1113.53 ·
  13. Strata · Q3_K_S Decode 345.96 · Prefill 1251.15 ·
  14. Ollama · Q3_K_M Decode 303.51 · Prefill 1532.77 ·
  15. Strata · IQ3_S Decode 322.41 · Prefill 1596.98 ·
  16. vLLM · Q4_K_M Decode 224.13 · Prefill 1208.86 ·
  17. vLLM · Q5_K_M Decode 206.52 · Prefill 1029.93 ·
  18. Strata · IQ2_M Decode 325.92 · Prefill 1772.8 ·
  19. vLLM · Q8_0 Decode 234.17 · Prefill 755.94 ·
  20. Strata · Q3_K_S Decode 335.33 · Prefill 1692.56 ·
  21. Strata · Q8_0 Decode 297.87 · Prefill 1046.41 ·
  22. vLLM · IQ4_XS Decode 288.72 · Prefill 1282.53 ·
  23. vLLM · Q3_K_M Decode 355.61 · Prefill 1722.65 ·
  24. Ollama · IQ2_M Decode 321.92 · Prefill 1762.51 ·
  25. Ollama · Q8_0 Decode 296.95 · Prefill 1140.84 ·
  26. vLLM · IQ3_S Decode 329.61 · Prefill 1536.04 ·
  27. vLLM · Q3_K_S Decode 362.27 · Prefill 1696.48 ·
  28. Strata · Q2_K Decode 373.13 · Prefill 1907.75 ·
  29. llama.cpp · Q4_K_S Decode 340.19 · Prefill 1569.8 ·
  30. vLLM · IQ2_M Decode 294.68 · Prefill 1324.31 ·
  31. vLLM · Q3_K_S Decode 355.68 · Prefill 1952.96 ·
  32. llama.cpp · IQ3_XS Decode 324.47 · Prefill 1251.53 ·
  33. Ollama · IQ3_XS Decode 374.78 · Prefill 1868.44 ·
  34. vLLM · IQ1_S Decode 335.51 · Prefill 1078.48 ·
  35. Ollama · Q6_K Decode 301.71 · Prefill 1324.79 ·
  36. vLLM · IQ3_XS Decode 338.72 · Prefill 1535.63 ·
  37. vLLM · Q3_K_M Decode 275.73 · Prefill 1508 ·
  38. Strata · Q5_K_S Decode 299.9 · Prefill 1290.71 ·
  39. Strata · Q6_K Decode 276.83 · Prefill 1508.76 ·
  40. llama.cpp · Q5_K_M Decode 303.32 · Prefill 1265.92 ·
  41. llama.cpp · Q5_K_S Decode 283.07 · Prefill 1445.04 ·
  42. vLLM · IQ3_XS Decode 302.76 · Prefill 1418.76 ·
  43. vLLM · IQ4_XS Decode 358.44 · Prefill 1162.82 ·
  44. llama.cpp · IQ1_S Decode 337.53 · Prefill 1795.74 ·
  45. llama.cpp · Q4_K_S Decode 314.55 · Prefill 1364.71 ·
  46. Strata · Q5_K_M Decode 362.58 · Prefill 1954.02 ·
  47. llama.cpp · IQ3_S Decode 289.19 · Prefill 992.46 ·
  48. llama.cpp · IQ4_XS Decode 283.18 · Prefill 981.02 ·
  49. vLLM · Q2_K Decode 349.23 · Prefill 1726.15 ·
  50. llama.cpp · FP16 Decode 379.95 · Prefill 1874.2 ·

Fit 判定

按显存与内存带宽做物理估算:选择模型,查看各量化能否装下及预计速度

估算公式:tok/s =(带宽 ÷ 模型占用)× 0.55,借鉴 llmfit;实测以运行记录为准

核心规格

厂商
NVIDIA
显存
80 GB
显存带宽
3350 GB/s

运行记录

共 50 组配置

模型框架量化Decode生成耗时样本数
gemma-4-E4B-itllama.cppIQ3_XS297.4 tok/s—1
gemma-4-E4B-itvLLMQ3_K_S343.3 tok/s—1
Ministral-3-8B-Instruct-2512llama.cppQ8_0271.7 tok/s—1
Ministral-3-8B-Instruct-2512vLLMQ3_K_M321.7 tok/s—1
iFlytek Spark-X2.5-4BOllamaIQ2_XS285.6 tok/s—1
iFlytek Spark-X2.5-4BStrataQ3_K_S291.7 tok/s—1
NVIDIA-Nemotron-3.5-Bolt-E4B-4GBOllamaQ4_K_M345.3 tok/s—1
NVIDIA-Nemotron-3.5-Bolt-E4B-4GBStrataQ4_K_M317.2 tok/s—1
Flint-40B-A2.5BvLLMIQ2_M326 tok/s—1
Raon-1-mini-previewllama.cppQ6_K343.5 tok/s—1
Raon-1-mini-previewOllamaQ3_K_S313.6 tok/s—1
mammoth-1llama.cppQ4_K_S342.5 tok/s—1
mammoth-1StrataQ3_K_S346 tok/s—1
elephant-1OllamaQ3_K_M303.5 tok/s—1
elephant-1StrataIQ3_S322.4 tok/s—1
Qwen3.8-27BvLLMQ4_K_M224.1 tok/s—1
Qwen3.8-27BvLLMQ5_K_M206.5 tok/s—1
Qwen3.8-27BStrataIQ2_M325.9 tok/s—1
Qwen3.6-27BvLLMQ8_0234.2 tok/s—1
Qwen3.6-27BStrataQ3_K_S335.3 tok/s—1
Qwen3.6-27BStrataQ8_0297.9 tok/s—1
Qwen3.6-35B-A3BvLLMIQ4_XS288.7 tok/s—1
Qwen3.6-35B-A3BvLLMQ3_K_M355.6 tok/s—1
Qwen3.6-35B-A3BOllamaIQ2_M321.9 tok/s—1
Qwen3.6-35B-A3BOllamaQ8_0296.9 tok/s—1
Qwen3.5-4BvLLMIQ3_S329.6 tok/s—1
Qwen3.5-4BvLLMQ3_K_S362.3 tok/s—1
Qwen3.5-4BStrataQ2_K373.1 tok/s—1
Qwen3.5-0.8Bllama.cppQ4_K_S340.2 tok/s—1
Qwen3.5-0.8BvLLMIQ2_M294.7 tok/s—1
Qwen3.5-0.8BvLLMQ3_K_S355.7 tok/s—1
Qwen3.8-9Bllama.cppIQ3_XS324.5 tok/s—1
Qwen3.8-9BOllamaIQ3_XS374.8 tok/s—1
Qwen3-8BvLLMIQ1_S335.5 tok/s—1
Qwen3-8BOllamaQ6_K301.7 tok/s—1
gemma-4-31B-itvLLMIQ3_XS338.7 tok/s—1
gemma-4-31B-itvLLMQ3_K_M275.7 tok/s—1
gemma-4-31B-itStrataQ5_K_S299.9 tok/s—1
gemma-4-31B-itStrataQ6_K276.8 tok/s—1
gemma-4-12B-itllama.cppQ5_K_M303.3 tok/s—1
gemma-4-12B-itllama.cppQ5_K_S283.1 tok/s—1
gemma-4-12B-itvLLMIQ3_XS302.8 tok/s—1
gemma-4-12B-itvLLMIQ4_XS358.4 tok/s—1
Llama-3.1-8B-Instructllama.cppIQ1_S337.5 tok/s—1
Llama-3.1-8B-Instructllama.cppQ4_K_S314.6 tok/s—1
Llama-3.1-8B-InstructStrataQ5_K_M362.6 tok/s—1
Llama-3-8B-Instructllama.cppIQ3_S289.2 tok/s—1
Llama-3-8B-Instructllama.cppIQ4_XS283.2 tok/s—1
Llama-3-8B-InstructvLLMQ2_K349.2 tok/s—1
Llama-3.2-3B-Instructllama.cppFP16379.9 tok/s—1