AMD Ryzen AI Max+ 395

台式机

统一内存 APU(代号 Strix Halo):最高可选 128GB 统一内存,其中最多 96GB 可划给显存,内存带宽 256 GB/s。默认 TDP 55W,cTDP 可配 45–120W。既用于迷你主机(如 Framework Desktop)也用于笔记本。Apple 之外的 x86 统一内存路线。

136

运行记录

33

覆盖模型

4

覆盖框架

L2 跨框架验证 × 136

证据分布

典型性能表现

同硬件上各模型 × 框架 × 量化的已上架实测均值。

  1. llama.cpp · Q2_K Decode 42.14 · Prefill 173.71 ·
  2. Ollama · Q3_K_L Decode 32.47 · Prefill 141.58 ·
  3. llama.cpp · IQ1_S Decode 115.1 · Prefill 632.07 ·
  4. vLLM · IQ4_XS Decode 84.12 · Prefill 383.03 ·
  5. llama.cpp · Q4_K_M Decode 35.76 · Prefill 167.23 ·
  6. Ollama · Q4_K_M Decode 33.77 · Prefill 108.98 ·
  7. llama.cpp · IQ3_XS Decode 77.09 · Prefill 382.38 ·
  8. vLLM · Q4_K_S Decode 63.8 · Prefill 213.74 ·
  9. llama.cpp · IQ2_M Decode 46.26 · Prefill 241.55 ·
  10. Ollama · IQ2_M Decode 44.23 · Prefill 204.06 ·
  11. llama.cpp · Q4_K_S Decode 26.2 · Prefill 94.34 ·
  12. vLLM · Q4_K_S Decode 27.6 · Prefill 131.32 ·
  13. llama.cpp · Q3_K_L Decode 32.72 · Prefill 137.17 ·
  14. vLLM · Q6_K Decode 22.65 · Prefill 118.27 ·
  15. vLLM · Q8_0 Decode 19.62 · Prefill 103.78 ·
  16. vLLM · FP16 Decode 9.75 · Prefill 49.87 ·
  17. vLLM · Q8_0 Decode 13.23 · Prefill 57.54 ·
  18. Ollama · Q3_K_L Decode 19.34 · Prefill 100.78 ·
  19. llama.cpp · IQ3_XS Decode 27.72 · Prefill 124.12 ·
  20. Ollama · FP16 Decode 12 · Prefill 64.43 ·
  21. vLLM · Q3_K_S Decode 72.5 · Prefill 334.68 ·
  22. vLLM · Q6_K Decode 44.31 · Prefill 168.04 ·
  23. Ollama · Q5_K_M Decode 45.61 · Prefill 217.15 ·
  24. vLLM · IQ2_M Decode 61.41 · Prefill 198.56 ·
  25. Ollama · FP16 Decode 19.79 · Prefill 92.05 ·
  26. vLLM · Q8_0 Decode 18.22 · Prefill 78.36 ·
  27. Ollama · IQ3_S Decode 27.26 · Prefill 100.74 ·
  28. Ollama · Q6_K Decode 16.05 · Prefill 66.18 ·
  29. llama.cpp · IQ2_XS Decode 231.64 · Prefill 936.81 ·
  30. llama.cpp · Q4_K_M Decode 68.16 · Prefill 362.8 ·
  31. vLLM · IQ4_XS Decode 85.62 · Prefill 384.79 ·
  32. llama.cpp · Q4_K_M Decode 26.52 · Prefill 94.42 ·
  33. vLLM · IQ2_M Decode 42.37 · Prefill 221.74 ·
  34. vLLM · Q6_K Decode 24.65 · Prefill 111.72 ·
  35. vLLM · Q3_K_S Decode 38.79 · Prefill 186.13 ·
  36. Ollama · FP16 Decode 14.12 · Prefill 69.25 ·
  37. Ollama · Q3_K_M Decode 34.18 · Prefill 132.79 ·
  38. llama.cpp · IQ2_M Decode 24.41 · Prefill 110.5 ·
  39. llama.cpp · IQ2_XS Decode 25.14 · Prefill 89.05 ·
  40. Ollama · IQ2_M Decode 24.86 · Prefill 123.01 ·
  41. llama.cpp · IQ2_M Decode 32.57 · Prefill 131.77 ·
  42. llama.cpp · Q5_K_M Decode 22.71 · Prefill 109.92 ·
  43. Ollama · Q3_K_M Decode 26.82 · Prefill 137.08 ·
  44. Ollama · Q5_K_S Decode 20.2 · Prefill 85.22 ·
  45. llama.cpp · IQ3_XS Decode 45.88 · Prefill 214.9 ·
  46. vLLM · Q2_K Decode 51.17 · Prefill 219.96 ·
  47. vLLM · IQ2_M Decode 48.9 · Prefill 230.21 ·
  48. vLLM · Q5_K_M Decode 31.8 · Prefill 157.2 ·
  49. Ollama · Q3_K_L Decode 37.4 · Prefill 165.99 ·
  50. llama.cpp · Q8_0 Decode 61.59 · Prefill 327.72 ·

Fit 判定

按显存与内存带宽做物理估算:选择模型,查看各量化能否装下及预计速度

估算公式:tok/s =(带宽 ÷ 模型占用)× 0.55,借鉴 llmfit;实测以运行记录为准

核心规格

厂商
AMD
架构
Zen 5 + RDNA 3.5 (Strix Halo)
显存
128 GB
显存带宽
256 GB/s
TDP 功耗
55 W
发布日期
2025-03-17

运行记录

共 50 组配置

模型框架量化Decode生成耗时样本数
Ministral-3-8B-Instruct-2512llama.cppQ2_K42.1 tok/s—1
Ministral-3-8B-Instruct-2512OllamaQ3_K_L32.5 tok/s—1
iFlytek Spark-X2.5-4Bllama.cppIQ1_S115.1 tok/s—1
iFlytek Spark-X2.5-4BvLLMIQ4_XS84.1 tok/s—1
NVIDIA-Nemotron-3.5-Bolt-E4B-4GBllama.cppQ4_K_M35.8 tok/s—1
NVIDIA-Nemotron-3.5-Bolt-E4B-4GBOllamaQ4_K_M33.8 tok/s—1
Flint-40B-A2.5Bllama.cppIQ3_XS77.1 tok/s—1
Flint-40B-A2.5BvLLMQ4_K_S63.8 tok/s—1
Raon-1-mini-previewllama.cppIQ2_M46.3 tok/s—1
Raon-1-mini-previewOllamaIQ2_M44.2 tok/s—1
mammoth-1llama.cppQ4_K_S26.2 tok/s—1
mammoth-1vLLMQ4_K_S27.6 tok/s—1
elephant-1llama.cppQ3_K_L32.7 tok/s—1
elephant-1vLLMQ6_K22.6 tok/s—1
elephant-1vLLMQ8_019.6 tok/s—1
Qwen3.8-27BvLLMFP169.8 tok/s—1
Qwen3.8-27BvLLMQ8_013.2 tok/s—1
Qwen3.8-27BOllamaQ3_K_L19.3 tok/s—1
Qwen3.6-27Bllama.cppIQ3_XS27.7 tok/s—1
Qwen3.6-27BOllamaFP1612 tok/s—1
Qwen3.6-35B-A3BvLLMQ3_K_S72.5 tok/s—1
Qwen3.6-35B-A3BvLLMQ6_K44.3 tok/s—1
Qwen3.6-35B-A3BOllamaQ5_K_M45.6 tok/s—1
Qwen3.5-4BvLLMIQ2_M61.4 tok/s—1
Qwen3.5-4BOllamaFP1619.8 tok/s—1
Qwen3.5-27BvLLMQ8_018.2 tok/s—1
Qwen3.5-27BOllamaIQ3_S27.3 tok/s—1
Qwen3.5-27BOllamaQ6_K16.1 tok/s—1
Qwen3.5-0.8Bllama.cppIQ2_XS231.6 tok/s—2
Qwen3.5-0.8Bllama.cppQ4_K_M68.2 tok/s—1
Qwen3.5-0.8BvLLMIQ4_XS85.6 tok/s—1
Qwen3.8-9Bllama.cppQ4_K_M26.5 tok/s—1
Qwen3.8-9BvLLMIQ2_M42.4 tok/s—1
Qwen3.8-9BvLLMQ6_K24.6 tok/s—1
Qwen3-8BvLLMQ3_K_S38.8 tok/s—1
Qwen3-8BOllamaFP1614.1 tok/s—1
Qwen3-8BOllamaQ3_K_M34.2 tok/s—1
gemma-4-31B-itllama.cppIQ2_M24.4 tok/s—1
gemma-4-31B-itllama.cppIQ2_XS25.1 tok/s—1
gemma-4-31B-itOllamaIQ2_M24.9 tok/s—1
gemma-4-12B-itllama.cppIQ2_M32.6 tok/s—1
gemma-4-12B-itllama.cppQ5_K_M22.7 tok/s—1
gemma-4-12B-itOllamaQ3_K_M26.8 tok/s—1
gemma-4-12B-itOllamaQ5_K_S20.2 tok/s—1
Llama-3.1-8B-Instructllama.cppIQ3_XS45.9 tok/s—1
Llama-3.1-8B-InstructvLLMQ2_K51.2 tok/s—1
Llama-3-8B-InstructvLLMIQ2_M48.9 tok/s—1
Llama-3-8B-InstructvLLMQ5_K_M31.8 tok/s—1
Llama-3-8B-InstructOllamaQ3_K_L37.4 tok/s—1
Llama-3.2-3B-Instructllama.cppQ8_061.6 tok/s—1