Arao AI

AMD Radeon RX 9070 XT

GPU

RDNA 4 架构（Navi 48），16GB GDDR6 / 256-bit 位宽，显存带宽约 644.6 GB/s，整卡功耗 304W。

56

运行记录

17

覆盖模型

4

覆盖框架

L2 跨框架验证 × 56

证据分布

典型性能表现

同硬件上各模型 × 框架 × 量化的已上架实测均值。

  1. llama.cpp · IQ2_M Decode 196.42 · Prefill 767.31 ·
  2. Ollama · FP16 Decode 69.03 · Prefill 237.27 ·
  3. Ollama · Q6_K Decode 103.08 · Prefill 389.31 ·
  4. vLLM · Q5_K_S Decode 285.41 · Prefill 1428.43 ·
  5. Ollama · FP16 Decode 127.98 · Prefill 427.95 ·
  6. Ollama · Q5_K_S Decode 242.84 · Prefill 980.43 ·
  7. llama.cpp · Q3_K_L Decode 114.6 · Prefill 612.55 ·
  8. Ollama · Q4_K_M Decode 103.73 · Prefill 474.73 ·
  9. llama.cpp · Q4_K_S Decode 123.04 · Prefill 487.34 ·
  10. vLLM · Q2_K Decode 168.21 · Prefill 814.55 ·
  11. llama.cpp · Q2_K Decode 126.21 · Prefill 558.74 ·
  12. Strata · IQ3_XS Decode 157.74 · Prefill 536.72 ·
  13. llama.cpp · IQ4_XS Decode 135.74 · Prefill 591.43 ·
  14. vLLM · Q3_K_S Decode 162.87 · Prefill 574.19 ·
  15. vLLM · Q4_K_M Decode 144.21 · Prefill 558.74 ·
  16. llama.cpp · Q5_K_S Decode 108.87 · Prefill 379.25 ·
  17. Ollama · Q2_K Decode 175.64 · Prefill 836.53 ·
  18. llama.cpp · IQ3_XS Decode 319.75 · Prefill 1663.47 ·
  19. Strata · IQ3_S Decode 308.2 · Prefill 1415.95 ·
  20. Strata · IQ4_XS Decode 311.94 · Prefill 1321.43 ·
  21. llama.cpp · IQ2_XS Decode 150.94 · Prefill 517.81 ·
  22. llama.cpp · IQ3_XS Decode 118.99 · Prefill 614.09 ·
  23. llama.cpp · Q5_K_M Decode 84.68 · Prefill 344.07 ·
  24. vLLM · IQ4_XS Decode 107.13 · Prefill 359.17 ·
  25. Ollama · Q3_K_L Decode 133.65 · Prefill 600.15 ·
  26. vLLM · IQ1_S Decode 133.24 · Prefill 623.53 ·
  27. vLLM · Q3_K_S Decode 113.68 · Prefill 457.77 ·
  28. Ollama · IQ2_XS Decode 124.46 · Prefill 417.76 ·
  29. llama.cpp · Q5_K_M Decode 182.06 · Prefill 1000.27 ·
  30. vLLM · IQ3_S Decode 301.46 · Prefill 1013.4 ·
  31. llama.cpp · IQ3_S Decode 102.09 · Prefill 492.72 ·
  32. Ollama · IQ3_XS Decode 105.64 · Prefill 538.49 ·
  33. Ollama · Q4_K_S Decode 80.27 · Prefill 324.54 ·
  34. vLLM · IQ2_XS Decode 142.91 · Prefill 782.4 ·
  35. Strata · IQ2_XS Decode 192.63 · Prefill 774.46 ·
  36. llama.cpp · Q2_K Decode 162 · Prefill 560.55 ·
  37. llama.cpp · Q6_K Decode 94.45 · Prefill 349.72 ·
  38. Ollama · IQ3_S Decode 124.75 · Prefill 481.56 ·
  39. Ollama · IQ2_M Decode 219.34 · Prefill 1047.84 ·
  40. Ollama · IQ2_XS Decode 223.89 · Prefill 1223.25 ·
  41. vLLM · IQ2_XS Decode 186.6 · Prefill 815.85 ·
  42. vLLM · Q5_K_S Decode 103.28 · Prefill 532.39 ·
  43. Ollama · Q3_K_M Decode 127.72 · Prefill 433.24 ·
  44. Ollama · Q3_K_S Decode 126.74 · Prefill 598.67 ·
  45. llama.cpp · Q5_K_S Decode 267.22 · Prefill 915.84 ·
  46. Strata · IQ2_M Decode 311.28 · Prefill 1001.12 ·
  47. Strata · IQ3_S Decode 358.46 · Prefill 1486.41 ·
  48. llama.cpp · IQ3_S Decode 181.8 · Prefill 969.43 ·
  49. llama.cpp · Q3_K_M Decode 169.43 · Prefill 689.96 ·
  50. Strata · Q2_K Decode 287.44 · Prefill 1250.58 ·

核心规格

厂商
AMD
架构
RDNA 4
显存
16 GB
显存带宽
645 GB/s
TDP 功耗
304 W
发布日期
2025-03-06

运行记录

共 50 组配置

模型框架量化Decode生成耗时样本数
Qwen3.5-4Bllama.cppIQ2_M196.4 tok/s—1
Qwen3.5-4BOllamaFP1669 tok/s—1
Qwen3.5-4BOllamaQ6_K103.1 tok/s—1
Qwen3.5-0.8BvLLMQ5_K_S285.4 tok/s—1
Qwen3.5-0.8BOllamaFP16128 tok/s—1
Qwen3.5-0.8BOllamaQ5_K_S242.8 tok/s—1
Qwen3.8-9Bllama.cppQ3_K_L114.6 tok/s—1
Qwen3.8-9BOllamaQ4_K_M103.7 tok/s—1
Qwen3-8Bllama.cppQ4_K_S123 tok/s—1
Qwen3-8BvLLMQ2_K168.2 tok/s—1
gemma-4-12B-itllama.cppQ2_K126.2 tok/s—1
gemma-4-12B-itStrataIQ3_XS157.7 tok/s—1
Llama-3.1-8B-Instructllama.cppIQ4_XS135.7 tok/s—1
Llama-3.1-8B-InstructvLLMQ3_K_S162.9 tok/s—1
Llama-3.1-8B-InstructvLLMQ4_K_M144.2 tok/s—1
Llama-3-8B-Instructllama.cppQ5_K_S108.9 tok/s—1
Llama-3-8B-InstructOllamaQ2_K175.6 tok/s—1
Llama-3.2-3B-Instructllama.cppIQ3_XS319.8 tok/s—1
Llama-3.2-3B-InstructStrataIQ3_S308.2 tok/s—1
Llama-3.2-3B-InstructStrataIQ4_XS311.9 tok/s—1
DeepSeek-R1-Distill-Qwen-14Bllama.cppIQ2_XS150.9 tok/s—1
Kimi-K3llama.cppIQ3_XS119 tok/s—1
Kimi-K3llama.cppQ5_K_M84.7 tok/s—1
Kimi-K3vLLMIQ4_XS107.1 tok/s—1
Qwen3.5-4BOllamaQ3_K_L133.7 tok/s—1
Qwen3.5-9BvLLMIQ1_S133.2 tok/s—1
Qwen3.5-9BvLLMQ3_K_S113.7 tok/s—1
Qwen3.5-9BOllamaIQ2_XS124.5 tok/s—1
Qwen3.5-0.8Bllama.cppQ5_K_M182.1 tok/s—1
Qwen3.5-0.8BvLLMIQ3_S301.5 tok/s—1
Qwen3.8-9Bllama.cppIQ3_S102.1 tok/s—1
Qwen3.8-9BOllamaIQ3_XS105.6 tok/s—1
Qwen3.8-9BOllamaQ4_K_S80.3 tok/s—1
Qwen3-8BvLLMIQ2_XS142.9 tok/s—1
Qwen3-8BStrataIQ2_XS192.6 tok/s—1
Qwen3-4Bllama.cppQ2_K162 tok/s—1
Qwen3-4Bllama.cppQ6_K94.5 tok/s—1
Qwen3-4BOllamaIQ3_S124.8 tok/s—1
Qwen3-1.7BOllamaIQ2_M219.3 tok/s—1
Qwen3-1.7BOllamaIQ2_XS223.9 tok/s—1
Qwen3-4B-Thinking-2507vLLMIQ2_XS186.6 tok/s—1
Qwen3-4B-Thinking-2507vLLMQ5_K_S103.3 tok/s—1
Qwen3-4B-Thinking-2507OllamaQ3_K_M127.7 tok/s—1
Qwen3-4B-Thinking-2507OllamaQ3_K_S126.7 tok/s—1
Qwen2.5-0.5B-Instructllama.cppQ5_K_S267.2 tok/s—1
Qwen2.5-0.5B-InstructStrataIQ2_M311.3 tok/s—1
Qwen2.5-0.5B-InstructStrataIQ3_S358.5 tok/s—1
Qwen2.5-Omni-3Bllama.cppIQ3_S181.8 tok/s—1
Qwen2.5-Omni-3Bllama.cppQ3_K_M169.4 tok/s—1
Qwen2.5-Omni-3BStrataQ2_K287.4 tok/s—1