Apple M3 Max

笔记本

Apple 统一内存 SoC,本站条目对应 36GB 配置(14 核 CPU / 30 核 GPU),内存带宽 300 GB/s。16 核 CPU / 40 核 GPU 的 M3 Max 版本带宽为 400 GB/s,最高可选 128GB 统一内存。Apple 不公布 TDP,该列留空。

41

运行记录

14

覆盖模型

4

覆盖框架

L0 自报 × 7 · L2 跨框架验证 × 34

证据分布

典型性能表现

同硬件上各模型 × 框架 × 量化的已上架实测均值。

  1. llama.cpp · IQ3_XS Decode 96.32 · Prefill 353.29 ·
  2. Ollama · IQ2_XS Decode 109.19 · Prefill 420.91 ·
  3. Ollama · IQ2_M Decode 78.91 · Prefill 300.73 ·
  4. Strata · IQ2_M Decode 121.51 · Prefill 396.4 ·
  5. llama.cpp · IQ2_XS Decode 89.41 · Prefill 406.89 ·
  6. vLLM · IQ1_S Decode 102.56 · Prefill 411.25 ·
  7. llama.cpp · IQ2_M Decode 188.61 · Prefill 924.46 ·
  8. llama.cpp · Q6_K Decode 107.73 · Prefill 580.34 ·
  9. Ollama · Q4_K_S Decode 130.85 · Prefill 560.14 ·
  10. Strata · Q3_K_M Decode 237.4 · Prefill 1147.78 ·
  11. Strata · Q6_K Decode 145.1 · Prefill 751.14 ·
  12. Strata · Q2_K Decode 150.5 · Prefill 804.01 ·
  13. llama.cpp · IQ2_XS Decode 369.47 · Prefill 2026.25 ·
  14. llama.cpp · IQ3_XS Decode 313.86 · Prefill 1064.12 ·
  15. Ollama · Q3_K_M Decode 286.62 · Prefill 1285.71 ·
  16. Strata · Q8_0 Decode 237.48 · Prefill 1069.27 ·
  17. llama.cpp · IQ2_M Decode 136.47 · Prefill 438.69 ·
  18. llama.cpp · IQ3_S Decode 126.59 · Prefill 664.89 ·
  19. Strata · Q2_K Decode 180.32 · Prefill 900.55 ·
  20. llama.cpp · FP16 Decode 58.36 · Prefill 290.84 ·
  21. llama.cpp · IQ2_M Decode 137.92 · Prefill 603.9 ·
  22. vLLM · FP16 Decode 57.8 · Prefill 255.66 ·
  23. vLLM · IQ2_M Decode 145.31 · Prefill 613.3 ·
  24. Ollama · IQ2_M Decode 129.83 · Prefill 636.38 ·
  25. vLLM · IQ2_XS Decode 309.15 · Prefill 1109.54 ·
  26. vLLM · Q3_K_L Decode 226.47 · Prefill 1116.37 ·
  27. Ollama · FP16 Decode 96.85 · Prefill 510.37 ·
  28. Ollama · IQ4_XS Decode 188.36 · Prefill 704.89 ·
  29. Strata · Q5_K_S Decode 239.13 · Prefill 849.25 ·
  30. llama.cpp · Q2_K Decode 64.47 · Prefill 330.47 ·
  31. Ollama · Q2_K Decode 65.74 · Prefill 261.65 ·
  32. llama.cpp · Q4_K_M Decode 85.7 · Prefill 345.14 ·
  33. llama.cpp · Q5_K_S Decode 77.34 · Prefill 357.59 ·
  34. Ollama · IQ3_S Decode 94.58 · Prefill 396.89 ·
  35. llama.cpp · IQ2_XS Decode 0.9 · Prefill 6.8 ·
  36. llama.cpp · IQ3_S Decode 0.8 · Prefill 6 ·
  37. llama.cpp · IQ2_XS Decode 0.9 · Prefill 6.8 ·
  38. llama.cpp · IQ3_S Decode 0.8 · Prefill 6 ·
  39. llama.cpp · IQ2_XS Decode 25.7 · Prefill 192.8 ·
  40. llama.cpp · Q5_K_M Decode 11.7 · Prefill 87.8 ·
  41. llama.cpp · Q4_K_M Decode 14.3 · Prefill 107.3 ·

Fit 判定

按显存与内存带宽做物理估算:选择模型,查看各量化能否装下及预计速度

估算公式:tok/s =(带宽 ÷ 模型占用)× 0.55,借鉴 llmfit;实测以运行记录为准

核心规格

厂商
Apple
架构
M3 Max
显存
36 GB
显存带宽
300 GB/s
发布日期
2023-10-30

运行记录

共 41 组配置

模型框架量化Decode生成耗时样本数
Qwen3.8-27Bllama.cppIQ3_XS96.3 tok/s—1
Qwen3.6-27BOllamaIQ2_XS109.2 tok/s—1
Qwen3.5-35B-A3BOllamaIQ2_M78.9 tok/s—1
Qwen3.5-35B-A3BStrataIQ2_M121.5 tok/s—1
Qwen3.6-35B-A3Bllama.cppIQ2_XS89.4 tok/s—1
Qwen3.6-35B-A3BvLLMIQ1_S102.6 tok/s—1
Qwen3.5-4Bllama.cppIQ2_M188.6 tok/s—1
Qwen3.5-4Bllama.cppQ6_K107.7 tok/s—1
Qwen3.5-4BOllamaQ4_K_S130.8 tok/s—1
Qwen3.5-4BStrataQ3_K_M237.4 tok/s—1
Qwen3.5-4BStrataQ6_K145.1 tok/s—1
Qwen3.5-27BStrataQ2_K150.5 tok/s—1
Qwen3.5-0.8Bllama.cppIQ2_XS369.5 tok/s—1
Qwen3.5-0.8Bllama.cppIQ3_XS313.9 tok/s—1
Qwen3.5-0.8BOllamaQ3_K_M286.6 tok/s—1
Qwen3.5-0.8BStrataQ8_0237.5 tok/s—1
Qwen3.8-9Bllama.cppIQ2_M136.5 tok/s—1
Qwen3.8-9Bllama.cppIQ3_S126.6 tok/s—1
Qwen3.8-9BStrataQ2_K180.3 tok/s—1
Qwen3-8Bllama.cppFP1658.4 tok/s—1
Qwen3-8Bllama.cppIQ2_M137.9 tok/s—1
Qwen3-8BvLLMFP1657.8 tok/s—1
Qwen3-8BvLLMIQ2_M145.3 tok/s—1
Qwen3-8BOllamaIQ2_M129.8 tok/s—1
Qwen3-1.7BvLLMIQ2_XS309.1 tok/s—1
Qwen3-1.7BvLLMQ3_K_L226.5 tok/s—1
Qwen3-1.7BOllamaFP1696.8 tok/s—1
Qwen3-1.7BOllamaIQ4_XS188.4 tok/s—1
Qwen3-1.7BStrataQ5_K_S239.1 tok/s—1
gemma-4-31B-itllama.cppQ2_K64.5 tok/s—1
gemma-4-31B-itOllamaQ2_K65.7 tok/s—1
gemma-4-12B-itllama.cppQ4_K_M85.7 tok/s—1
gemma-4-12B-itllama.cppQ5_K_S77.3 tok/s—1
gemma-4-12B-itOllamaIQ3_S94.6 tok/s—1
GLM-5.3llama.cppIQ2_XS0.9 tok/s—1
GLM-5.3llama.cppIQ3_S0.8 tok/s—1
DeepSeek-V4.1-Flashllama.cppIQ2_XS0.9 tok/s—1
DeepSeek-V4.1-Flashllama.cppIQ3_S0.8 tok/s—1
Qwen3.8-27Bllama.cppIQ2_XS25.7 tok/s—1
Qwen3.8-27Bllama.cppQ5_K_M11.7 tok/s—1
Qwen3.8-27Bllama.cppQ4_K_M14.3 tok/s—1