AMD Radeon RX 7900 XTX

GPU

RDNA 3 架构旗舰(Navi 31,小芯片设计),24GB GDDR6 / 384-bit 位宽,显存带宽 960 GB/s,整卡功耗 355W。

89

运行记录

18

覆盖模型

4

覆盖框架

L0 自报 × 7 · L2 跨框架验证 × 82

证据分布

典型性能表现

同硬件上各模型 × 框架 × 量化的已上架实测均值。

  1. vLLM · IQ3_XS Decode 133.18 · Prefill 447.04 ·
  2. Ollama · Q5_K_M Decode 71.28 · Prefill 362.47 ·
  3. vLLM · Q5_K_M Decode 70.36 · Prefill 357.32 ·
  4. Ollama · IQ3_S Decode 86.72 · Prefill 439.93 ·
  5. vLLM · Q5_K_S Decode 190.47 · Prefill 971.18 ·
  6. Ollama · Q3_K_L Decode 216.92 · Prefill 1042.56 ·
  7. llama.cpp · Q4_K_M Decode 102.56 · Prefill 353.32 ·
  8. Ollama · Q4_K_M Decode 86.87 · Prefill 421.48 ·
  9. vLLM · Q3_K_M Decode 94.98 · Prefill 305.39 ·
  10. vLLM · IQ1_S Decode 68.56 · Prefill 341.84 ·
  11. vLLM · Q4_K_M Decode 100.76 · Prefill 500.94 ·
  12. vLLM · Q4_K_S Decode 113.75 · Prefill 494.84 ·
  13. Ollama · Q3_K_L Decode 108.14 · Prefill 521.92 ·
  14. Ollama · Q3_K_M Decode 103.32 · Prefill 530.53 ·
  15. llama.cpp · IQ2_XS Decode 280.58 · Prefill 1056.43 ·
  16. Ollama · Q4_K_M Decode 171.2 · Prefill 687.99 ·
  17. llama.cpp · Q3_K_L Decode 79 · Prefill 351.53 ·
  18. Ollama · Q3_K_S Decode 81.43 · Prefill 433.18 ·
  19. Ollama · Q8_0 Decode 45.02 · Prefill 207.48 ·
  20. llama.cpp · Q5_K_S Decode 73.41 · Prefill 264.95 ·
  21. vLLM · IQ2_M Decode 127.88 · Prefill 585.23 ·
  22. vLLM · Q2_K Decode 108.21 · Prefill 417.97 ·
  23. vLLM · Q3_K_M Decode 77.87 · Prefill 405.9 ·
  24. Ollama · IQ1_S Decode 92.04 · Prefill 422.92 ·
  25. llama.cpp · Q3_K_S Decode 102.17 · Prefill 424.1 ·
  26. llama.cpp · Q4_K_M Decode 83.47 · Prefill 411.3 ·
  27. vLLM · Q3_K_M Decode 114.54 · Prefill 374.54 ·
  28. vLLM · Q4_K_M Decode 87.13 · Prefill 426.78 ·
  29. vLLM · Q4_K_M Decode 95.65 · Prefill 325.43 ·
  30. Ollama · Q5_K_S Decode 74.72 · Prefill 318.2 ·
  31. vLLM · Q6_K Decode 175.87 · Prefill 672.51 ·
  32. Ollama · Q3_K_L Decode 237.89 · Prefill 1168.16 ·
  33. llama.cpp · Q4_K_M Decode 65.83 · Prefill 346.39 ·
  34. Ollama · IQ2_XS Decode 90.76 · Prefill 372.69 ·
  35. llama.cpp · Q3_K_S Decode 122.17 · Prefill 596.11 ·
  36. Strata · IQ3_S Decode 166.71 · Prefill 815.55 ·
  37. Strata · IQ1_S Decode 136.67 · Prefill 575.25 ·
  38. Ollama · Q5_K_S Decode 148.35 · Prefill 573.18 ·
  39. Strata · Q4_K_S Decode 289.51 · Prefill 1525.63 ·
  40. vLLM · Q3_K_L Decode 79.57 · Prefill 292.41 ·
  41. vLLM · Q3_K_M Decode 85.52 · Prefill 281.83 ·
  42. Ollama · Q4_K_M Decode 61.26 · Prefill 253.43 ·
  43. Ollama · Q5_K_M Decode 56.51 · Prefill 294.11 ·
  44. Ollama · IQ3_XS Decode 90.61 · Prefill 409.37 ·
  45. Strata · IQ2_M Decode 148.41 · Prefill 586.66 ·
  46. llama.cpp · IQ2_XS Decode 97.1 · Prefill 483.73 ·
  47. llama.cpp · Q5_K_M Decode 54.12 · Prefill 201.79 ·
  48. Strata · IQ2_M Decode 125.31 · Prefill 624.12 ·
  49. vLLM · IQ4_XS Decode 91.85 · Prefill 357.41 ·
  50. Strata · IQ4_XS Decode 138.01 · Prefill 527.22 ·

Fit 判定

按显存与内存带宽做物理估算:选择模型,查看各量化能否装下及预计速度

估算公式:tok/s =(带宽 ÷ 模型占用)× 0.55,借鉴 llmfit;实测以运行记录为准

核心规格

厂商
AMD
架构
RDNA 3
显存
24 GB
显存带宽
960 GB/s
TDP 功耗
355 W
发布日期
2022-12-13

运行记录

共 50 组配置

模型框架量化Decode生成耗时样本数
gemma-4-E4B-itvLLMIQ3_XS133.2 tok/s—1
gemma-4-E4B-itOllamaQ5_K_M71.3 tok/s—1
Ministral-3-8B-Instruct-2512vLLMQ5_K_M70.4 tok/s—1
Ministral-3-8B-Instruct-2512OllamaIQ3_S86.7 tok/s—1
iFlytek Spark-X2.5-4BvLLMQ5_K_S190.5 tok/s—1
iFlytek Spark-X2.5-4BOllamaQ3_K_L216.9 tok/s—1
NVIDIA-Nemotron-3.5-Bolt-E4B-4GBllama.cppQ4_K_M102.6 tok/s—1
NVIDIA-Nemotron-3.5-Bolt-E4B-4GBOllamaQ4_K_M86.9 tok/s—1
elephant-1vLLMQ3_K_M95 tok/s—1
Qwen3.8-27BvLLMIQ1_S68.6 tok/s—1
Qwen3.5-4BvLLMQ4_K_M100.8 tok/s—1
Qwen3.5-4BvLLMQ4_K_S113.8 tok/s—1
Qwen3.5-4BOllamaQ3_K_L108.1 tok/s—1
Qwen3.5-4BOllamaQ3_K_M103.3 tok/s—1
Qwen3.5-0.8Bllama.cppIQ2_XS280.6 tok/s—1
Qwen3.5-0.8BOllamaQ4_K_M171.2 tok/s—1
Qwen3.8-9Bllama.cppQ3_K_L79 tok/s—1
Qwen3.8-9BOllamaQ3_K_S81.4 tok/s—1
Qwen3.8-9BOllamaQ8_045 tok/s—1
Qwen3-8Bllama.cppQ5_K_S73.4 tok/s—1
Qwen3-8BvLLMIQ2_M127.9 tok/s—2
Qwen3-8BvLLMQ2_K108.2 tok/s—1
gemma-4-12B-itvLLMQ3_K_M77.9 tok/s—1
gemma-4-12B-itOllamaIQ1_S92 tok/s—1
Llama-3.1-8B-Instructllama.cppQ3_K_S102.2 tok/s—1
Llama-3.1-8B-Instructllama.cppQ4_K_M83.5 tok/s—1
Llama-3.1-8B-InstructvLLMQ3_K_M114.5 tok/s—1
Llama-3.1-8B-InstructvLLMQ4_K_M87.1 tok/s—1
Llama-3-8B-InstructvLLMQ4_K_M95.7 tok/s—1
Llama-3-8B-InstructOllamaQ5_K_S74.7 tok/s—2
Llama-3.2-3B-InstructvLLMQ6_K175.9 tok/s—1
Llama-3.2-3B-InstructOllamaQ3_K_L237.9 tok/s—1
DeepSeek-R1-Distill-Qwen-14Bllama.cppQ4_K_M65.8 tok/s—1
DeepSeek-R1-Distill-Qwen-14BOllamaIQ2_XS90.8 tok/s—1
Qwen3.5-4Bllama.cppQ3_K_S122.2 tok/s—1
Qwen3.5-4BStrataIQ3_S166.7 tok/s—1
Qwen3.5-27BStrataIQ1_S136.7 tok/s—1
Qwen3.5-0.8BOllamaQ5_K_S148.3 tok/s—1
Qwen3.5-0.8BStrataQ4_K_S289.5 tok/s—1
Qwen3.8-9BvLLMQ3_K_L79.6 tok/s—1
Qwen3.8-9BvLLMQ3_K_M85.5 tok/s—1
Qwen3.8-9BOllamaQ4_K_M61.3 tok/s—1
Qwen3.8-9BOllamaQ5_K_M56.5 tok/s—1
Qwen3-8BOllamaIQ3_XS90.6 tok/s—1
Qwen3-8BStrataIQ2_M148.4 tok/s—1
gemma-4-12B-itllama.cppIQ2_XS97.1 tok/s—1
gemma-4-12B-itllama.cppQ5_K_M54.1 tok/s—1
gemma-4-12B-itStrataIQ2_M125.3 tok/s—1
Llama-3.1-8B-InstructvLLMIQ4_XS91.8 tok/s—1
Llama-3.1-8B-InstructStrataIQ4_XS138 tok/s—1