AMD Strix Point (Radeon 890M)

其他

42

运行记录

14

覆盖模型

4

覆盖框架

L2 跨框架验证 × 42

证据分布

典型性能表现

同硬件上各模型 × 框架 × 量化的已上架实测均值。

  1. llama.cpp · Q5_K_M Decode 58.41 · Prefill 300.39 ·
  2. Ollama · Q3_K_L Decode 78.29 · Prefill 430.35 ·
  3. Ollama · Q8_0 Decode 43.81 · Prefill 179.92 ·
  4. vLLM · IQ3_S Decode 65.94 · Prefill 339.59 ·
  5. Ollama · IQ3_XS Decode 62.85 · Prefill 248.56 ·
  6. Ollama · IQ4_XS Decode 46.77 · Prefill 176.41 ·
  7. vLLM · IQ3_XS Decode 172.31 · Prefill 798.79 ·
  8. Strata · Q5_K_M Decode 163.87 · Prefill 897.86 ·
  9. vLLM · Q2_K Decode 74.53 · Prefill 292.59 ·
  10. vLLM · Q3_K_M Decode 62.84 · Prefill 312.12 ·
  11. Strata · Q4_K_M Decode 68.09 · Prefill 270.12 ·
  12. vLLM · Q4_K_M Decode 56.8 · Prefill 217.7 ·
  13. Strata · IQ1_S Decode 121.73 · Prefill 484.23 ·
  14. Strata · Q5_K_S Decode 66.77 · Prefill 312.73 ·
  15. vLLM · FP16 Decode 36.08 · Prefill 186.22 ·
  16. vLLM · IQ2_XS Decode 112.83 · Prefill 404.8 ·
  17. Ollama · IQ4_XS Decode 68.56 · Prefill 288.08 ·
  18. Ollama · Q3_K_L Decode 75.1 · Prefill 314.07 ·
  19. llama.cpp · Q8_0 Decode 68.66 · Prefill 239.32 ·
  20. Strata · Q3_K_L Decode 154.95 · Prefill 755.86 ·
  21. Strata · Q4_K_M Decode 149.78 · Prefill 509.73 ·
  22. llama.cpp · IQ4_XS Decode 75.65 · Prefill 261.83 ·
  23. vLLM · Q5_K_S Decode 60.14 · Prefill 291.94 ·
  24. vLLM · IQ1_S Decode 79.93 · Prefill 394.12 ·
  25. vLLM · Q8_0 Decode 38.46 · Prefill 182.92 ·
  26. Ollama · Q5_K_M Decode 41.64 · Prefill 184.88 ·
  27. llama.cpp · Q4_K_S Decode 160.41 · Prefill 865.77 ·
  28. Strata · Q4_K_S Decode 231.08 · Prefill 1081.57 ·
  29. Ollama · IQ2_M Decode 98.85 · Prefill 414.8 ·
  30. Ollama · Q6_K Decode 60.33 · Prefill 317.9 ·
  31. Strata · IQ3_S Decode 128.16 · Prefill 598.86 ·
  32. vLLM · Q4_K_S Decode 178.08 · Prefill 918.71 ·
  33. vLLM · Q8_0 Decode 112.43 · Prefill 505.72 ·
  34. Strata · IQ2_M Decode 281.13 · Prefill 1305.8 ·
  35. Strata · IQ3_XS Decode 273.43 · Prefill 1002.15 ·
  36. llama.cpp · IQ1_S Decode 145.7 · Prefill 692.08 ·
  37. llama.cpp · IQ4_XS Decode 106.04 · Prefill 563.55 ·
  38. Ollama · FP16 Decode 47.28 · Prefill 250.08 ·
  39. Ollama · Q8_0 Decode 57.25 · Prefill 264.02 ·
  40. vLLM · IQ3_XS Decode 93.71 · Prefill 479.79 ·
  41. vLLM · Q6_K Decode 56.27 · Prefill 255.06 ·
  42. Ollama · Q2_K Decode 85.31 · Prefill 404.47 ·

Fit 判定

按显存与内存带宽做物理估算:选择模型,查看各量化能否装下及预计速度

该硬件未收录显存数据,无法判定 Fit

估算公式:tok/s =(带宽 ÷ 模型占用)× 0.55,借鉴 llmfit;实测以运行记录为准

核心规格

厂商
AMD
显存带宽
153 GB/s

运行记录

共 42 组配置

模型框架量化Decode生成耗时样本数
Qwen3.5-4Bllama.cppQ5_K_M58.4 tok/s—1
Qwen3.5-4BOllamaQ3_K_L78.3 tok/s—1
Qwen3.5-4BOllamaQ8_043.8 tok/s—1
Qwen3.5-9BvLLMIQ3_S65.9 tok/s—1
Qwen3.5-9BOllamaIQ3_XS62.9 tok/s—1
Qwen3.5-9BOllamaIQ4_XS46.8 tok/s—1
Qwen3.5-0.8BvLLMIQ3_XS172.3 tok/s—1
Qwen3.5-0.8BStrataQ5_K_M163.9 tok/s—1
Qwen3.8-9BvLLMQ2_K74.5 tok/s—1
Qwen3.8-9BvLLMQ3_K_M62.8 tok/s—1
Qwen3.8-9BStrataQ4_K_M68.1 tok/s—1
Qwen3-8BvLLMQ4_K_M56.8 tok/s—1
Qwen3-8BStrataIQ1_S121.7 tok/s—1
Qwen3-8BStrataQ5_K_S66.8 tok/s—1
Qwen3-4BvLLMFP1636.1 tok/s—1
Qwen3-4BvLLMIQ2_XS112.8 tok/s—1
Qwen3-4BOllamaIQ4_XS68.6 tok/s—1
Qwen3-4BOllamaQ3_K_L75.1 tok/s—1
Qwen3-1.7Bllama.cppQ8_068.7 tok/s—1
Qwen3-1.7BStrataQ3_K_L154.9 tok/s—1
Qwen3-1.7BStrataQ4_K_M149.8 tok/s—1
Qwen3-4B-Thinking-2507llama.cppIQ4_XS75.7 tok/s—1
Qwen3-4B-Thinking-2507vLLMQ5_K_S60.1 tok/s—1
Qwen3-Coder-NextvLLMIQ1_S79.9 tok/s—1
Qwen3-Coder-NextvLLMQ8_038.5 tok/s—1
Qwen3-Coder-NextOllamaQ5_K_M41.6 tok/s—1
Qwen2.5-0.5B-Instructllama.cppQ4_K_S160.4 tok/s—1
Qwen2.5-0.5B-InstructStrataQ4_K_S231.1 tok/s—1
Qwen2.5-Omni-3BOllamaIQ2_M98.8 tok/s—1
Qwen2.5-Omni-3BOllamaQ6_K60.3 tok/s—1
Qwen2.5-Omni-3BStrataIQ3_S128.2 tok/s—1
Qwen3-Embedding-0.6BvLLMQ4_K_S178.1 tok/s—1
Qwen3-Embedding-0.6BvLLMQ8_0112.4 tok/s—1
Qwen3-Embedding-0.6BStrataIQ2_M281.1 tok/s—1
Qwen3-Embedding-0.6BStrataIQ3_XS273.4 tok/s—1
gemma-4-E2B-itllama.cppIQ1_S145.7 tok/s—1
gemma-4-E2B-itllama.cppIQ4_XS106 tok/s—1
gemma-4-E2B-itOllamaFP1647.3 tok/s—1
gemma-4-E2B-itOllamaQ8_057.3 tok/s—1
gemma-4-E4B-itvLLMIQ3_XS93.7 tok/s—1
gemma-4-E4B-itvLLMQ6_K56.3 tok/s—1
gemma-4-E4B-itOllamaQ2_K85.3 tok/s—1