Apple M4 Pro

笔记本

Apple 统一内存 SoC,最高可选 64GB 统一内存,内存带宽 273 GB/s(较 M3 Pro 提升约 75%)。用于 MacBook Pro 与 Mac mini。Apple 不公布 TDP,该列留空。

41

运行记录

18

覆盖模型

4

覆盖框架

L0 自报 × 7 · L2 跨框架验证 × 34

证据分布

典型性能表现

同硬件上各模型 × 框架 × 量化的已上架实测均值。

  1. Ollama · Q4_K_S Decode 136.48 · Prefill 705.2 ·
  2. Strata · IQ2_M Decode 177.44 · Prefill 840.26 ·
  3. llama.cpp · IQ4_XS Decode 286.93 · Prefill 1431.45 ·
  4. llama.cpp · Q5_K_M Decode 205.09 · Prefill 1101.85 ·
  5. Strata · Q5_K_S Decode 123.85 · Prefill 643.4 ·
  6. vLLM · Q3_K_M Decode 131.41 · Prefill 579.15 ·
  7. Ollama · Q8_0 Decode 61.9 · Prefill 265.27 ·
  8. vLLM · Q5_K_M Decode 115.86 · Prefill 428.93 ·
  9. Ollama · IQ2_XS Decode 164.02 · Prefill 802.68 ·
  10. Ollama · Q8_0 Decode 86.82 · Prefill 468.6 ·
  11. Strata · Q2_K Decode 389.55 · Prefill 1966.41 ·
  12. llama.cpp · IQ4_XS Decode 138.37 · Prefill 661.86 ·
  13. llama.cpp · Q4_K_S Decode 123.54 · Prefill 441.3 ·
  14. Strata · IQ3_XS Decode 218.39 · Prefill 1145.06 ·
  15. Strata · Q3_K_L Decode 206.28 · Prefill 783.16 ·
  16. Strata · IQ1_S Decode 325.5 · Prefill 1591.11 ·
  17. Strata · IQ2_M Decode 303.45 · Prefill 1578.72 ·
  18. vLLM · IQ4_XS Decode 172.49 · Prefill 661.58 ·
  19. vLLM · Q3_K_S Decode 184.21 · Prefill 1008.8 ·
  20. Ollama · Q4_K_S Decode 154.32 · Prefill 813.63 ·
  21. Ollama · Q5_K_M Decode 114.09 · Prefill 438.42 ·
  22. vLLM · Q5_K_M Decode 270.98 · Prefill 944.94 ·
  23. vLLM · IQ2_M Decode 64.88 · Prefill 330.09 ·
  24. vLLM · IQ3_XS Decode 87.63 · Prefill 428.03 ·
  25. vLLM · Q4_K_S Decode 72.54 · Prefill 364.75 ·
  26. Ollama · Q5_K_M Decode 56.24 · Prefill 299.52 ·
  27. Ollama · Q5_K_S Decode 59.26 · Prefill 228.14 ·
  28. llama.cpp · IQ2_M Decode 103.7 · Prefill 452.45 ·
  29. llama.cpp · Q5_K_S Decode 68.46 · Prefill 358.45 ·
  30. vLLM · Q2_K Decode 110.03 · Prefill 407.67 ·
  31. vLLM · Q4_K_S Decode 90.85 · Prefill 484.54 ·
  32. vLLM · Q3_K_S Decode 87.73 · Prefill 414.18 ·
  33. vLLM · Q4_K_M Decode 76.77 · Prefill 324.87 ·
  34. Strata · IQ3_S Decode 124.6 · Prefill 542.9 ·
  35. llama.cpp · IQ2_XS Decode 0.8 · Prefill 6 ·
  36. llama.cpp · IQ3_S Decode 0.7 · Prefill 5.3 ·
  37. llama.cpp · IQ2_XS Decode 0.8 · Prefill 6 ·
  38. llama.cpp · IQ3_S Decode 0.7 · Prefill 5.3 ·
  39. llama.cpp · IQ2_XS Decode 23.4 · Prefill 175.5 ·
  40. llama.cpp · Q5_K_M Decode 10.6 · Prefill 79.5 ·
  41. llama.cpp · Q4_K_M Decode 13 · Prefill 97.5 ·

Fit 判定

按显存与内存带宽做物理估算:选择模型,查看各量化能否装下及预计速度

估算公式:tok/s =(带宽 ÷ 模型占用)× 0.55,借鉴 llmfit;实测以运行记录为准

核心规格

厂商
Apple
架构
M4 Pro
显存
64 GB
显存带宽
273 GB/s
发布日期
2024-10-30

运行记录

共 41 组配置

模型框架量化Decode生成耗时样本数
Qwen3.5-4BOllamaQ4_K_S136.5 tok/s—1
Qwen3.5-9BStrataIQ2_M177.4 tok/s—1
Qwen3.5-0.8Bllama.cppIQ4_XS286.9 tok/s—1
Qwen3.5-0.8Bllama.cppQ5_K_M205.1 tok/s—1
Qwen3.8-9BStrataQ5_K_S123.8 tok/s—1
Qwen3-8BvLLMQ3_K_M131.4 tok/s—1
Qwen3-8BOllamaQ8_061.9 tok/s—1
Qwen3-4BvLLMQ5_K_M115.9 tok/s—1
Qwen3-4BOllamaIQ2_XS164 tok/s—1
Qwen3-4BOllamaQ8_086.8 tok/s—1
Qwen3-1.7BStrataQ2_K389.6 tok/s—1
Qwen3-4B-Thinking-2507llama.cppIQ4_XS138.4 tok/s—1
Qwen3-4B-Thinking-2507llama.cppQ4_K_S123.5 tok/s—1
Qwen3-4B-Thinking-2507StrataIQ3_XS218.4 tok/s—1
Qwen3-4B-Thinking-2507StrataQ3_K_L206.3 tok/s—1
Qwen2.5-0.5B-InstructStrataIQ1_S325.5 tok/s—1
Qwen2.5-0.5B-InstructStrataIQ2_M303.4 tok/s—1
Qwen2.5-Omni-3BvLLMIQ4_XS172.5 tok/s—1
Qwen2.5-Omni-3BvLLMQ3_K_S184.2 tok/s—1
Qwen2.5-Omni-3BOllamaQ4_K_S154.3 tok/s—1
Qwen2.5-Omni-3BOllamaQ5_K_M114.1 tok/s—1
Qwen3-Embedding-0.6BvLLMQ5_K_M271 tok/s—1
gemma-4-31B-itvLLMIQ2_M64.9 tok/s—1
gemma-4-26B-A4B-itvLLMIQ3_XS87.6 tok/s—1
gemma-4-26B-A4B-itvLLMQ4_K_S72.5 tok/s—1
gemma-4-26B-A4B-itOllamaQ5_K_M56.2 tok/s—1
gemma-4-26B-A4B-itOllamaQ5_K_S59.3 tok/s—1
gemma-4-12B-itllama.cppIQ2_M103.7 tok/s—1
gemma-4-12B-itllama.cppQ5_K_S68.5 tok/s—1
gemma-4-12B-itvLLMQ2_K110 tok/s—1
gemma-4-12B-itvLLMQ4_K_S90.8 tok/s—1
DeepSeek-R1-Distill-Qwen-14BvLLMQ3_K_S87.7 tok/s—1
DeepSeek-R1-Distill-Qwen-14BvLLMQ4_K_M76.8 tok/s—1
DeepSeek-R1-Distill-Qwen-14BStrataIQ3_S124.6 tok/s—1
GLM-5.3llama.cppIQ2_XS0.8 tok/s—1
GLM-5.3llama.cppIQ3_S0.7 tok/s—1
DeepSeek-V4.1-Flashllama.cppIQ2_XS0.8 tok/s—1
DeepSeek-V4.1-Flashllama.cppIQ3_S0.7 tok/s—1
Qwen3.8-27Bllama.cppIQ2_XS23.4 tok/s—1
Qwen3.8-27Bllama.cppQ5_K_M10.6 tok/s—1
Qwen3.8-27Bllama.cppQ4_K_M13 tok/s—1