Arao AI

AMD Radeon RX 9070

GPU

RDNA 4 架构（Navi 48），16GB GDDR6 / 256-bit 位宽，显存带宽约 644.6 GB/s，整卡功耗 220W。与 RX 9070 XT 同芯片、功耗更低。

57

运行记录

17

覆盖模型

4

覆盖框架

L2 跨框架验证 × 57

证据分布

典型性能表现

同硬件上各模型 × 框架 × 量化的已上架实测均值。

  1. llama.cpp · IQ2_XS Decode 204.13 · Prefill 1113.36 ·
  2. llama.cpp · Q3_K_L Decode 162.78 · Prefill 836.11 ·
  3. vLLM · Q3_K_S Decode 194.22 · Prefill 736.68 ·
  4. vLLM · Q4_K_M Decode 137.14 · Prefill 684.52 ·
  5. llama.cpp · Q3_K_S Decode 282.09 · Prefill 1248.73 ·
  6. llama.cpp · Q4_K_M Decode 250.59 · Prefill 955.15 ·
  7. Ollama · IQ1_S Decode 353.51 · Prefill 1875.31 ·
  8. llama.cpp · Q3_K_L Decode 112.13 · Prefill 574.57 ·
  9. llama.cpp · Q5_K_M Decode 84.7 · Prefill 430.21 ·
  10. Strata · Q4_K_S Decode 150.11 · Prefill 526.56 ·
  11. vLLM · IQ3_XS Decode 114.22 · Prefill 439.54 ·
  12. vLLM · IQ1_S Decode 209.03 · Prefill 1072.51 ·
  13. vLLM · Q3_K_M Decode 141.43 · Prefill 703.16 ·
  14. Strata · Q3_K_L Decode 194.02 · Prefill 811.8 ·
  15. llama.cpp · Q5_K_S Decode 113.29 · Prefill 563 ·
  16. llama.cpp · Q4_K_M Decode 313.76 · Prefill 1093.15 ·
  17. llama.cpp · Q4_K_S Decode 290.99 · Prefill 1343.85 ·
  18. vLLM · IQ4_XS Decode 366.03 · Prefill 1680.79 ·
  19. vLLM · Q3_K_S Decode 348.42 · Prefill 1407.74 ·
  20. vLLM · IQ4_XS Decode 102.59 · Prefill 523.94 ·
  21. vLLM · Q3_K_M Decode 122.09 · Prefill 529.79 ·
  22. Ollama · IQ3_XS Decode 117.33 · Prefill 604.75 ·
  23. Ollama · Q2_K Decode 125.3 · Prefill 531.07 ·
  24. llama.cpp · IQ4_XS Decode 127.63 · Prefill 638.8 ·
  25. vLLM · IQ1_S Decode 172.53 · Prefill 556.88 ·
  26. vLLM · IQ3_S Decode 146.59 · Prefill 752.13 ·
  27. Ollama · Q2_K Decode 96.63 · Prefill 444.09 ·
  28. Ollama · Q4_K_S Decode 80.57 · Prefill 434.52 ·
  29. Strata · Q4_K_S Decode 115.51 · Prefill 577.32 ·
  30. llama.cpp · Q3_K_L Decode 236.42 · Prefill 1273.33 ·
  31. vLLM · IQ1_S Decode 361.98 · Prefill 1724.43 ·
  32. vLLM · IQ2_M Decode 325.3 · Prefill 1252.35 ·
  33. llama.cpp · Q4_K_M Decode 78.36 · Prefill 376.38 ·
  34. llama.cpp · Q4_K_S Decode 79.97 · Prefill 402.87 ·
  35. Ollama · Q4_K_S Decode 82.2 · Prefill 391.04 ·
  36. Strata · Q3_K_L Decode 126.35 · Prefill 621.6 ·
  37. Strata · Q3_K_S Decode 136.8 · Prefill 667.03 ·
  38. llama.cpp · Q2_K Decode 140.23 · Prefill 653.54 ·
  39. llama.cpp · Q8_0 Decode 73.3 · Prefill 246.97 ·
  40. Strata · IQ4_XS Decode 168.75 · Prefill 844.33 ·
  41. llama.cpp · IQ1_S Decode 251.73 · Prefill 1075.85 ·
  42. llama.cpp · Q3_K_L Decode 168.28 · Prefill 901.02 ·
  43. Strata · IQ3_XS Decode 263.09 · Prefill 972.27 ·
  44. Strata · Q5_K_M Decode 186.72 · Prefill 727.73 ·
  45. vLLM · IQ3_S Decode 127.52 · Prefill 534.05 ·
  46. vLLM · Q3_K_S Decode 140.19 · Prefill 769.84 ·
  47. Ollama · IQ1_S Decode 375.3 · Prefill 1369.71 ·
  48. Ollama · Q6_K Decode 169 · Prefill 555.64 ·
  49. vLLM · Q4_K_S Decode 147.81 · Prefill 510.18 ·
  50. vLLM · Q8_0 Decode 91.32 · Prefill 374.63 ·

核心规格

厂商
AMD
架构
RDNA 4
显存
16 GB
显存带宽
645 GB/s
TDP 功耗
220 W
发布日期
2025-03-06

运行记录

共 50 组配置

模型框架量化Decode生成耗时样本数
Qwen3.5-4Bllama.cppIQ2_XS204.1 tok/s—1
Qwen3.5-4Bllama.cppQ3_K_L162.8 tok/s—1
Qwen3.5-4BvLLMQ3_K_S194.2 tok/s—1
Qwen3.5-4BvLLMQ4_K_M137.1 tok/s—1
Qwen3.5-0.8Bllama.cppQ3_K_S282.1 tok/s—2
Qwen3.5-0.8Bllama.cppQ4_K_M250.6 tok/s—1
Qwen3.5-0.8BOllamaIQ1_S353.5 tok/s—1
Qwen3-8Bllama.cppQ3_K_L112.1 tok/s—1
Qwen3-8Bllama.cppQ5_K_M84.7 tok/s—1
Qwen3-8BStrataQ4_K_S150.1 tok/s—1
gemma-4-12B-itvLLMIQ3_XS114.2 tok/s—1
Llama-3.1-8B-InstructvLLMIQ1_S209 tok/s—1
Llama-3.1-8B-InstructvLLMQ3_K_M141.4 tok/s—1
Llama-3.1-8B-InstructStrataQ3_K_L194 tok/s—1
Llama-3-8B-Instructllama.cppQ5_K_S113.3 tok/s—1
Llama-3.2-3B-Instructllama.cppQ4_K_M313.8 tok/s—1
Llama-3.2-3B-Instructllama.cppQ4_K_S291 tok/s—1
Llama-3.2-3B-InstructvLLMIQ4_XS366 tok/s—1
Llama-3.2-3B-InstructvLLMQ3_K_S348.4 tok/s—1
Kimi-K3vLLMIQ4_XS102.6 tok/s—1
Kimi-K3vLLMQ3_K_M122.1 tok/s—1
Kimi-K3OllamaIQ3_XS117.3 tok/s—1
Kimi-K3OllamaQ2_K125.3 tok/s—1
Qwen3.5-4Bllama.cppIQ4_XS127.6 tok/s—1
Qwen3.5-4BvLLMIQ1_S172.5 tok/s—1
Qwen3.5-4BvLLMIQ3_S146.6 tok/s—1
Qwen3.5-9BOllamaQ2_K96.6 tok/s—1
Qwen3.5-9BOllamaQ4_K_S80.6 tok/s—1
Qwen3.5-9BStrataQ4_K_S115.5 tok/s—1
Qwen3.5-0.8Bllama.cppQ3_K_L236.4 tok/s—1
Qwen3.5-0.8BvLLMIQ1_S362 tok/s—1
Qwen3.5-0.8BvLLMIQ2_M325.3 tok/s—1
Qwen3.8-9Bllama.cppQ4_K_M78.4 tok/s—1
Qwen3.8-9Bllama.cppQ4_K_S80 tok/s—1
Qwen3.8-9BOllamaQ4_K_S82.2 tok/s—1
Qwen3-8BStrataQ3_K_L126.3 tok/s—1
Qwen3-8BStrataQ3_K_S136.8 tok/s—1
Qwen3-4Bllama.cppQ2_K140.2 tok/s—1
Qwen3-4Bllama.cppQ8_073.3 tok/s—1
Qwen3-4BStrataIQ4_XS168.8 tok/s—1
Qwen3-1.7Bllama.cppIQ1_S251.7 tok/s—1
Qwen3-1.7Bllama.cppQ3_K_L168.3 tok/s—1
Qwen3-1.7BStrataIQ3_XS263.1 tok/s—1
Qwen3-1.7BStrataQ5_K_M186.7 tok/s—1
Qwen3-4B-Thinking-2507vLLMIQ3_S127.5 tok/s—1
Qwen3-4B-Thinking-2507vLLMQ3_K_S140.2 tok/s—1
Qwen2.5-0.5B-InstructOllamaIQ1_S375.3 tok/s—1
Qwen2.5-0.5B-InstructOllamaQ6_K169 tok/s—1
Qwen2.5-Omni-3BvLLMQ4_K_S147.8 tok/s—1
Qwen2.5-Omni-3BvLLMQ8_091.3 tok/s—1