Apple M1 Max

其他

41

运行记录

15

覆盖模型

4

覆盖框架

L2 跨框架验证 × 41

证据分布

典型性能表现

同硬件上各模型 × 框架 × 量化的已上架实测均值。

  1. vLLM · FP16 Decode 57.12 · Prefill 260.15 ·
  2. vLLM · Q3_K_S Decode 135.63 · Prefill 662.69 ·
  3. Strata · IQ4_XS Decode 158.99 · Prefill 630.94 ·
  4. llama.cpp · Q5_K_M Decode 65.43 · Prefill 334.37 ·
  5. Strata · FP16 Decode 50.07 · Prefill 196.15 ·
  6. Strata · Q5_K_M Decode 86.88 · Prefill 306.63 ·
  7. vLLM · Q6_K Decode 47.77 · Prefill 232.57 ·
  8. vLLM · IQ4_XS Decode 222.4 · Prefill 1142.41 ·
  9. vLLM · Q3_K_S Decode 238.61 · Prefill 1236.73 ·
  10. Ollama · IQ3_S Decode 214.42 · Prefill 1034.95 ·
  11. Ollama · Q8_0 Decode 124.21 · Prefill 540.32 ·
  12. llama.cpp · IQ3_S Decode 82.95 · Prefill 300.79 ·
  13. llama.cpp · Q4_K_S Decode 83.02 · Prefill 308.94 ·
  14. Ollama · Q2_K Decode 100.43 · Prefill 476.64 ·
  15. Ollama · Q5_K_S Decode 62.86 · Prefill 246.16 ·
  16. Ollama · IQ2_M Decode 105.75 · Prefill 569.54 ·
  17. Strata · Q4_K_S Decode 115.1 · Prefill 573.93 ·
  18. llama.cpp · Q2_K Decode 145.16 · Prefill 623.88 ·
  19. Ollama · IQ2_M Decode 126.39 · Prefill 412.92 ·
  20. Ollama · Q8_0 Decode 64.73 · Prefill 325.03 ·
  21. vLLM · Q4_K_S Decode 157.62 · Prefill 743.87 ·
  22. Strata · IQ4_XS Decode 217.54 · Prefill 1114.27 ·
  23. Strata · Q6_K Decode 152.31 · Prefill 609.9 ·
  24. vLLM · FP16 Decode 48.27 · Prefill 248.84 ·
  25. Strata · IQ3_XS Decode 182.49 · Prefill 683.44 ·
  26. Strata · Q4_K_M Decode 125.01 · Prefill 495.06 ·
  27. Ollama · IQ4_XS Decode 76.5 · Prefill 413.9 ·
  28. Strata · IQ2_M Decode 143.28 · Prefill 613.22 ·
  29. llama.cpp · Q4_K_S Decode 266.38 · Prefill 866.19 ·
  30. Strata · Q3_K_L Decode 395.33 · Prefill 1769.04 ·
  31. llama.cpp · FP16 Decode 57.81 · Prefill 312.83 ·
  32. llama.cpp · Q3_K_M Decode 128.76 · Prefill 591.62 ·
  33. Ollama · Q4_K_S Decode 116.7 · Prefill 504.6 ·
  34. vLLM · Q3_K_M Decode 253.55 · Prefill 1128.29 ·
  35. Ollama · Q2_K Decode 294.74 · Prefill 1454.22 ·
  36. Ollama · Q3_K_L Decode 236.47 · Prefill 1174.1 ·
  37. vLLM · Q3_K_S Decode 189.55 · Prefill 943.94 ·
  38. vLLM · Q8_0 Decode 98.82 · Prefill 455.48 ·
  39. Strata · IQ1_S Decode 324.26 · Prefill 1495.83 ·
  40. Ollama · Q8_0 Decode 65.55 · Prefill 302.64 ·
  41. Strata · IQ2_M Decode 209.31 · Prefill 930.07 ·

Fit 判定

按显存与内存带宽做物理估算:选择模型,查看各量化能否装下及预计速度

该硬件未收录显存数据,无法判定 Fit

估算公式:tok/s =(带宽 ÷ 模型占用)× 0.55,借鉴 llmfit;实测以运行记录为准

核心规格

厂商
Apple
显存带宽
400 GB/s

运行记录

共 41 组配置

模型框架量化Decode生成耗时样本数
Qwen3.5-4BvLLMFP1657.1 tok/s—1
Qwen3.5-4BvLLMQ3_K_S135.6 tok/s—1
Qwen3.5-4BStrataIQ4_XS159 tok/s—1
Qwen3.5-9Bllama.cppQ5_K_M65.4 tok/s—1
Qwen3.5-9BStrataFP1650.1 tok/s—1
Qwen3.5-9BStrataQ5_K_M86.9 tok/s—1
Qwen3.5-27BvLLMQ6_K47.8 tok/s—1
Qwen3.5-0.8BvLLMIQ4_XS222.4 tok/s—1
Qwen3.5-0.8BvLLMQ3_K_S238.6 tok/s—1
Qwen3.5-0.8BOllamaIQ3_S214.4 tok/s—1
Qwen3.5-0.8BOllamaQ8_0124.2 tok/s—1
Qwen3.8-9Bllama.cppIQ3_S83 tok/s—1
Qwen3.8-9Bllama.cppQ4_K_S83 tok/s—1
Qwen3.8-9BOllamaQ2_K100.4 tok/s—1
Qwen3.8-9BOllamaQ5_K_S62.9 tok/s—1
Qwen3-8BOllamaIQ2_M105.8 tok/s—1
Qwen3-8BStrataQ4_K_S115.1 tok/s—1
Qwen3-4Bllama.cppQ2_K145.2 tok/s—1
Qwen3-4BOllamaIQ2_M126.4 tok/s—1
Qwen3-4BOllamaQ8_064.7 tok/s—1
Qwen3-1.7BvLLMQ4_K_S157.6 tok/s—1
Qwen3-1.7BStrataIQ4_XS217.5 tok/s—1
Qwen3-1.7BStrataQ6_K152.3 tok/s—1
Qwen3-4B-Thinking-2507vLLMFP1648.3 tok/s—1
Qwen3-4B-Thinking-2507StrataIQ3_XS182.5 tok/s—1
Qwen3-4B-Thinking-2507StrataQ4_K_M125 tok/s—1
Qwen3-Coder-NextOllamaIQ4_XS76.5 tok/s—1
Qwen3-Coder-NextStrataIQ2_M143.3 tok/s—1
Qwen2.5-0.5B-Instructllama.cppQ4_K_S266.4 tok/s—1
Qwen2.5-0.5B-InstructStrataQ3_K_L395.3 tok/s—1
Qwen2.5-Omni-3Bllama.cppFP1657.8 tok/s—1
Qwen2.5-Omni-3Bllama.cppQ3_K_M128.8 tok/s—1
Qwen2.5-Omni-3BOllamaQ4_K_S116.7 tok/s—1
Qwen3-Embedding-0.6BvLLMQ3_K_M253.6 tok/s—1
Qwen3-Embedding-0.6BOllamaQ2_K294.7 tok/s—1
Qwen3-Embedding-0.6BOllamaQ3_K_L236.5 tok/s—1
gemma-4-E2B-itvLLMQ3_K_S189.6 tok/s—1
gemma-4-E2B-itvLLMQ8_098.8 tok/s—1
gemma-4-E2B-itStrataIQ1_S324.3 tok/s—1
gemma-4-E4B-itOllamaQ8_065.5 tok/s—1
gemma-4-E4B-itStrataIQ2_M209.3 tok/s—1