Apple M5 Pro
笔记本Apple 统一内存 SoC(2026 年 3 月随新款 MacBook Pro 发布),最高可选 64GB 统一内存,内存带宽 307 GB/s。采用 Apple 新的 Fusion 架构。Apple 不公布 TDP,该列留空。
43
运行记录
18
覆盖模型
4
覆盖框架
L0 自报 × 7 · L2 跨框架验证 × 36
证据分布
典型性能表现
同硬件上各模型 × 框架 × 量化的已上架实测均值。
- Ollama · Q5_K_M Decode 121.74 · Prefill 552.05 ·
- Ollama · Q6_K Decode 111.41 · Prefill 526.06 ·
- vLLM · Q3_K_L Decode 145.87 · Prefill 596.68 ·
- vLLM · Q3_K_S Decode 149.44 · Prefill 576.02 ·
- llama.cpp · IQ1_S Decode 341.6 · Prefill 1406.03 ·
- vLLM · IQ2_M Decode 323.11 · Prefill 1474.14 ·
- vLLM · Q3_K_M Decode 358.52 · Prefill 1906.72 ·
- vLLM · IQ3_S Decode 158.08 · Prefill 657.93 ·
- vLLM · Q2_K Decode 169.33 · Prefill 690.81 ·
- Ollama · IQ3_S Decode 136.51 · Prefill 597.98 ·
- Ollama · Q3_K_S Decode 144.08 · Prefill 671.77 ·
- Ollama · IQ1_S Decode 187.29 · Prefill 770.8 ·
- Ollama · Q4_K_S Decode 116.66 · Prefill 579.89 ·
- Strata · Q3_K_L Decode 212.69 · Prefill 1110.56 ·
- llama.cpp · Q3_K_L Decode 189.13 · Prefill 672.33 ·
- llama.cpp · Q3_K_M Decode 187.03 · Prefill 648.58 ·
- llama.cpp · IQ2_M Decode 311.55 · Prefill 1641.2 ·
- llama.cpp · Q5_K_S Decode 197.87 · Prefill 839.49 ·
- vLLM · Q4_K_M Decode 233.37 · Prefill 1190.9 ·
- vLLM · Q5_K_S Decode 229.77 · Prefill 936.19 ·
- llama.cpp · Q3_K_L Decode 181 · Prefill 762.88 ·
- vLLM · Q5_K_S Decode 376.55 · Prefill 1237.86 ·
- vLLM · Q8_0 Decode 284.14 · Prefill 1555.29 ·
- Ollama · Q5_K_M Decode 149.09 · Prefill 749.3 ·
- llama.cpp · IQ1_S Decode 286.68 · Prefill 1382.17 ·
- llama.cpp · IQ2_M Decode 301.75 · Prefill 1278.13 ·
- Ollama · Q4_K_S Decode 342.8 · Prefill 1259.06 ·
- Ollama · Q3_K_M Decode 62.31 · Prefill 340.97 ·
- Strata · IQ3_XS Decode 111.36 · Prefill 546.98 ·
- llama.cpp · Q8_0 Decode 55.26 · Prefill 261.28 ·
- Strata · Q6_K Decode 98.9 · Prefill 379.8 ·
- llama.cpp · Q4_K_M Decode 100.37 · Prefill 374.04 ·
- llama.cpp · Q8_0 Decode 66.87 · Prefill 301.78 ·
- Ollama · Q3_K_M Decode 110.36 · Prefill 569.49 ·
- Ollama · Q3_K_S Decode 111.33 · Prefill 497.48 ·
- llama.cpp · Q2_K Decode 127.36 · Prefill 409.89 ·
- llama.cpp · IQ2_XS Decode 0.9 · Prefill 6.8 ·
- llama.cpp · IQ3_S Decode 0.8 · Prefill 6 ·
- llama.cpp · IQ2_XS Decode 0.9 · Prefill 6.8 ·
- llama.cpp · IQ3_S Decode 0.8 · Prefill 6 ·
- llama.cpp · IQ2_XS Decode 26.3 · Prefill 197.3 ·
- llama.cpp · Q5_K_M Decode 12 · Prefill 90 ·
- llama.cpp · Q4_K_M Decode 14.6 · Prefill 109.5 ·
Fit 判定
按显存与内存带宽做物理估算:选择模型,查看各量化能否装下及预计速度
估算公式:tok/s =(带宽 ÷ 模型占用)× 0.55,借鉴 llmfit;实测以运行记录为准
核心规格
- 厂商
- Apple
- 架构
- M5 Pro
- 显存
- 64 GB
- 显存带宽
- 307 GB/s
运行记录
共 43 组配置
| 模型 | 框架 | 量化 | Decode | 生成耗时 | 样本数 |
|---|---|---|---|---|---|
| Qwen3.5-4B | Ollama | Q5_K_M | 121.7 tok/s | — | 1 |
| Qwen3.5-4B | Ollama | Q6_K | 111.4 tok/s | — | 1 |
| Qwen3.5-9B | vLLM | Q3_K_L | 145.9 tok/s | — | 1 |
| Qwen3.5-9B | vLLM | Q3_K_S | 149.4 tok/s | — | 1 |
| Qwen3.5-0.8B | llama.cpp | IQ1_S | 341.6 tok/s | — | 1 |
| Qwen3.5-0.8B | vLLM | IQ2_M | 323.1 tok/s | — | 1 |
| Qwen3.5-0.8B | vLLM | Q3_K_M | 358.5 tok/s | — | 1 |
| Qwen3.8-9B | vLLM | IQ3_S | 158.1 tok/s | — | 1 |
| Qwen3.8-9B | vLLM | Q2_K | 169.3 tok/s | — | 1 |
| Qwen3.8-9B | Ollama | IQ3_S | 136.5 tok/s | — | 1 |
| Qwen3.8-9B | Ollama | Q3_K_S | 144.1 tok/s | — | 1 |
| Qwen3-8B | Ollama | IQ1_S | 187.3 tok/s | — | 1 |
| Qwen3-8B | Ollama | Q4_K_S | 116.7 tok/s | — | 1 |
| Qwen3-8B | Strata | Q3_K_L | 212.7 tok/s | — | 1 |
| Qwen3-4B | llama.cpp | Q3_K_L | 189.1 tok/s | — | 1 |
| Qwen3-4B | llama.cpp | Q3_K_M | 187 tok/s | — | 1 |
| Qwen3-1.7B | llama.cpp | IQ2_M | 311.6 tok/s | — | 1 |
| Qwen3-1.7B | llama.cpp | Q5_K_S | 197.9 tok/s | — | 1 |
| Qwen3-1.7B | vLLM | Q4_K_M | 233.4 tok/s | — | 1 |
| Qwen3-1.7B | vLLM | Q5_K_S | 229.8 tok/s | — | 1 |
| Qwen3-4B-Thinking-2507 | llama.cpp | Q3_K_L | 181 tok/s | — | 1 |
| Qwen2.5-0.5B-Instruct | vLLM | Q5_K_S | 376.6 tok/s | — | 1 |
| Qwen2.5-0.5B-Instruct | vLLM | Q8_0 | 284.1 tok/s | — | 1 |
| Qwen2.5-Omni-3B | Ollama | Q5_K_M | 149.1 tok/s | — | 1 |
| Qwen3-Embedding-0.6B | llama.cpp | IQ1_S | 286.7 tok/s | — | 1 |
| Qwen3-Embedding-0.6B | llama.cpp | IQ2_M | 301.8 tok/s | — | 1 |
| Qwen3-Embedding-0.6B | Ollama | Q4_K_S | 342.8 tok/s | — | 1 |
| gemma-4-31B-it | Ollama | Q3_K_M | 62.3 tok/s | — | 1 |
| gemma-4-31B-it | Strata | IQ3_XS | 111.4 tok/s | — | 1 |
| gemma-4-26B-A4B-it | llama.cpp | Q8_0 | 55.3 tok/s | — | 1 |
| gemma-4-26B-A4B-it | Strata | Q6_K | 98.9 tok/s | — | 1 |
| gemma-4-12B-it | llama.cpp | Q4_K_M | 100.4 tok/s | — | 1 |
| gemma-4-12B-it | llama.cpp | Q8_0 | 66.9 tok/s | — | 1 |
| gemma-4-12B-it | Ollama | Q3_K_M | 110.4 tok/s | — | 1 |
| gemma-4-12B-it | Ollama | Q3_K_S | 111.3 tok/s | — | 1 |
| DeepSeek-R1-Distill-Qwen-14B | llama.cpp | Q2_K | 127.4 tok/s | — | 1 |
| GLM-5.3 | llama.cpp | IQ2_XS | 0.9 tok/s | — | 1 |
| GLM-5.3 | llama.cpp | IQ3_S | 0.8 tok/s | — | 1 |
| DeepSeek-V4.1-Flash | llama.cpp | IQ2_XS | 0.9 tok/s | — | 1 |
| DeepSeek-V4.1-Flash | llama.cpp | IQ3_S | 0.8 tok/s | — | 1 |
| Qwen3.8-27B | llama.cpp | IQ2_XS | 26.3 tok/s | — | 1 |
| Qwen3.8-27B | llama.cpp | Q5_K_M | 12 tok/s | — | 1 |
| Qwen3.8-27B | llama.cpp | Q4_K_M | 14.6 tok/s | — | 1 |