Apple M4 Max

笔记本

Apple 统一内存 SoC,最高可选 128GB 统一内存,内存带宽 546 GB/s(32 核 GPU 的精简版为 410 GB/s)。用于 MacBook Pro 与 Mac Studio。Apple 不公布 TDP,该列留空。

50

运行记录

14

覆盖模型

4

覆盖框架

L0 自报 × 3 · L2 跨框架验证 × 47

证据分布

典型性能表现

同硬件上各模型 × 框架 × 量化的已上架实测均值。

  1. vLLM · Q5_K_S Decode 122.2 · Prefill 481.39 ·
  2. Strata · IQ2_M Decode 265.43 · Prefill 1342.3 ·
  3. Strata · IQ3_S Decode 228.14 · Prefill 1118.4 ·
  4. llama.cpp · IQ2_M Decode 189.88 · Prefill 951.61 ·
  5. llama.cpp · IQ2_XS Decode 191.16 · Prefill 1032.54 ·
  6. vLLM · Q3_K_M Decode 174.24 · Prefill 673.46 ·
  7. Ollama · Q6_K Decode 99.52 · Prefill 397.09 ·
  8. vLLM · IQ4_XS Decode 115.28 · Prefill 541.34 ·
  9. vLLM · Q4_K_S Decode 115.9 · Prefill 629 ·
  10. Ollama · IQ2_XS Decode 138.01 · Prefill 631.53 ·
  11. llama.cpp · IQ3_XS Decode 121.63 · Prefill 540.05 ·
  12. llama.cpp · Q4_K_S Decode 111.01 · Prefill 387.61 ·
  13. Ollama · Q3_K_L Decode 102.3 · Prefill 395.71 ·
  14. llama.cpp · Q5_K_M Decode 206.25 · Prefill 667.88 ·
  15. Ollama · Q3_K_L Decode 222.79 · Prefill 746.94 ·
  16. Ollama · Q4_K_M Decode 207.82 · Prefill 1018.29 ·
  17. Strata · IQ4_XS Decode 330.49 · Prefill 1150.53 ·
  18. Strata · Q2_K Decode 349.71 · Prefill 1794.35 ·
  19. llama.cpp · IQ3_S Decode 165.6 · Prefill 722.22 ·
  20. vLLM · Q3_K_M Decode 166.04 · Prefill 735.49 ·
  21. Ollama · Q3_K_S Decode 165.47 · Prefill 649.98 ·
  22. Ollama · Q5_K_S Decode 111.59 · Prefill 447.41 ·
  23. llama.cpp · IQ4_XS Decode 313.09 · Prefill 1177.06 ·
  24. llama.cpp · Q4_K_S Decode 304.54 · Prefill 1527.8 ·
  25. Strata · Q2_K Decode 352.85 · Prefill 1792.79 ·
  26. Strata · Q3_K_L Decode 303.63 · Prefill 1479.8 ·
  27. vLLM · IQ2_XS Decode 251.74 · Prefill 1248.2 ·
  28. Ollama · Q8_0 Decode 103.18 · Prefill 552.91 ·
  29. Strata · IQ2_XS Decode 353.9 · Prefill 1746.97 ·
  30. Strata · IQ3_S Decode 255.89 · Prefill 1167.45 ·
  31. llama.cpp · Q2_K Decode 238 · Prefill 1037.55 ·
  32. llama.cpp · Q3_K_L Decode 189.78 · Prefill 777.5 ·
  33. vLLM · FP16 Decode 103.62 · Prefill 346.91 ·
  34. vLLM · IQ1_S Decode 287.05 · Prefill 1522.92 ·
  35. Ollama · FP16 Decode 81 · Prefill 424.01 ·
  36. Ollama · IQ4_XS Decode 182.06 · Prefill 996.81 ·
  37. vLLM · IQ3_S Decode 318.24 · Prefill 1490.26 ·
  38. vLLM · Q5_K_S Decode 322.68 · Prefill 1251.16 ·
  39. Strata · IQ2_XS Decode 304.05 · Prefill 1416.13 ·
  40. llama.cpp · Q3_K_M Decode 93.03 · Prefill 389.72 ·
  41. llama.cpp · Q8_0 Decode 53.15 · Prefill 271.21 ·
  42. vLLM · Q2_K Decode 111.52 · Prefill 400.99 ·
  43. vLLM · Q8_0 Decode 54.33 · Prefill 226.48 ·
  44. llama.cpp · IQ2_M Decode 187.13 · Prefill 653.55 ·
  45. llama.cpp · Q4_K_M Decode 140.93 · Prefill 615.86 ·
  46. vLLM · IQ3_XS Decode 181.71 · Prefill 766.49 ·
  47. Strata · Q2_K Decode 270.81 · Prefill 1355.35 ·
  48. llama.cpp · IQ3_S Decode 3.7 · Prefill 27.8 ·
  49. llama.cpp · IQ3_S Decode 5.8 · Prefill 43.5 ·
  50. llama.cpp · Q4_K_M Decode 26 · Prefill 195 ·

Fit 判定

按显存与内存带宽做物理估算:选择模型,查看各量化能否装下及预计速度

估算公式:tok/s =(带宽 ÷ 模型占用)× 0.55,借鉴 llmfit;实测以运行记录为准

核心规格

厂商
Apple
架构
M4 Max
显存
128 GB
显存带宽
546 GB/s
发布日期
2024-10-30

运行记录

共 50 组配置

模型框架量化Decode生成耗时样本数
Qwen3.8-27BvLLMQ5_K_S122.2 tok/s—1
Qwen3.8-27BStrataIQ2_M265.4 tok/s—1
Qwen3.8-27BStrataIQ3_S228.1 tok/s—1
Qwen3.6-27Bllama.cppIQ2_M189.9 tok/s—1
Qwen3.6-27Bllama.cppIQ2_XS191.2 tok/s—1
Qwen3.6-27BvLLMQ3_K_M174.2 tok/s—1
Qwen3.6-27BOllamaQ6_K99.5 tok/s—1
Qwen3.5-35B-A3BvLLMIQ4_XS115.3 tok/s—1
Qwen3.5-35B-A3BvLLMQ4_K_S115.9 tok/s—1
Qwen3.5-35B-A3BOllamaIQ2_XS138 tok/s—1
Qwen3.6-35B-A3Bllama.cppIQ3_XS121.6 tok/s—1
Qwen3.6-35B-A3Bllama.cppQ4_K_S111 tok/s—1
Qwen3.6-35B-A3BOllamaQ3_K_L102.3 tok/s—1
Qwen3.5-4Bllama.cppQ5_K_M206.3 tok/s—1
Qwen3.5-4BOllamaQ3_K_L222.8 tok/s—1
Qwen3.5-4BOllamaQ4_K_M207.8 tok/s—1
Qwen3.5-4BStrataIQ4_XS330.5 tok/s—1
Qwen3.5-4BStrataQ2_K349.7 tok/s—1
Qwen3.5-27Bllama.cppIQ3_S165.6 tok/s—1
Qwen3.5-27BvLLMQ3_K_M166 tok/s—1
Qwen3.5-27BOllamaQ3_K_S165.5 tok/s—1
Qwen3.5-27BOllamaQ5_K_S111.6 tok/s—1
Qwen3.5-0.8Bllama.cppIQ4_XS313.1 tok/s—1
Qwen3.5-0.8Bllama.cppQ4_K_S304.5 tok/s—1
Qwen3.5-0.8BStrataQ2_K352.9 tok/s—1
Qwen3.5-0.8BStrataQ3_K_L303.6 tok/s—1
Qwen3.8-9BvLLMIQ2_XS251.7 tok/s—1
Qwen3.8-9BOllamaQ8_0103.2 tok/s—1
Qwen3.8-9BStrataIQ2_XS353.9 tok/s—1
Qwen3.8-9BStrataIQ3_S255.9 tok/s—1
Qwen3-8Bllama.cppQ2_K238 tok/s—1
Qwen3-8Bllama.cppQ3_K_L189.8 tok/s—1
Qwen3-8BvLLMFP16103.6 tok/s—1
Qwen3-8BvLLMIQ1_S287.1 tok/s—1
Qwen3-8BOllamaFP1681 tok/s—1
Qwen3-8BOllamaIQ4_XS182.1 tok/s—1
Qwen3-1.7BvLLMIQ3_S318.2 tok/s—1
Qwen3-1.7BvLLMQ5_K_S322.7 tok/s—1
Qwen3-1.7BStrataIQ2_XS304.1 tok/s—1
gemma-4-31B-itllama.cppQ3_K_M93 tok/s—1
gemma-4-31B-itllama.cppQ8_053.1 tok/s—1
gemma-4-31B-itvLLMQ2_K111.5 tok/s—1
gemma-4-31B-itvLLMQ8_054.3 tok/s—1
gemma-4-12B-itllama.cppIQ2_M187.1 tok/s—1
gemma-4-12B-itllama.cppQ4_K_M140.9 tok/s—1
gemma-4-12B-itvLLMIQ3_XS181.7 tok/s—1
gemma-4-12B-itStrataQ2_K270.8 tok/s—1
DeepSeek-V4-Flashllama.cppIQ3_S3.7 tok/s—1
Qwen3.8-Flash-Nextllama.cppIQ3_S5.8 tok/s—1
Qwen3.8-27Bllama.cppQ4_K_M26 tok/s—1