Apple M5 Max
笔记本Apple 统一内存 SoC(2026 年 3 月随新款 MacBook Pro 发布),最高可选 128GB 统一内存,内存带宽 614 GB/s(32 核 GPU 版本为 460 GB/s)。Mac Studio 亦有搭载。Apple 不公布 TDP,该列留空。
149
运行记录
38
覆盖模型
4
覆盖框架
L0 自报 × 6 · L2 跨框架验证 × 143
证据分布
典型性能表现
同硬件上各模型 × 框架 × 量化的已上架实测均值。
- llama.cpp · IQ4_XS Decode 75.66 · Prefill 303.23 ·
- Ollama · IQ4_XS Decode 67.21 · Prefill 271.49 ·
- llama.cpp · Q3_K_S Decode 215.47 · Prefill 840.6 ·
- Ollama · Q2_K Decode 217.16 · Prefill 1089.96 ·
- llama.cpp · Q4_K_M Decode 76.62 · Prefill 265.83 ·
- Ollama · Q4_K_M Decode 69.91 · Prefill 321.78 ·
- llama.cpp · Q3_K_M Decode 152.51 · Prefill 687.68 ·
- Ollama · IQ4_XS Decode 123.41 · Prefill 650.98 ·
- Ollama · Q2_K Decode 153.39 · Prefill 803.06 ·
- llama.cpp · IQ2_XS Decode 103.96 · Prefill 353.6 ·
- llama.cpp · IQ4_XS Decode 86.99 · Prefill 341.88 ·
- Ollama · IQ1_S Decode 109.91 · Prefill 383.57 ·
- Ollama · Q5_K_S Decode 61.49 · Prefill 244.43 ·
- llama.cpp · IQ4_XS Decode 59.77 · Prefill 305.47 ·
- llama.cpp · Q3_K_M Decode 63.7 · Prefill 294.17 ·
- Ollama · FP16 Decode 25.66 · Prefill 97.32 ·
- llama.cpp · Q5_K_S Decode 59.51 · Prefill 259.7 ·
- Ollama · FP16 Decode 30.75 · Prefill 124.45 ·
- Ollama · Q5_K_S Decode 53.6 · Prefill 253.24 ·
- llama.cpp · Q3_K_L Decode 42.74 · Prefill 158.84 ·
- llama.cpp · Q6_K Decode 30.73 · Prefill 132.88 ·
- Ollama · IQ3_XS Decode 46.88 · Prefill 178.13 ·
- llama.cpp · IQ1_S Decode 83.43 · Prefill 309.76 ·
- Ollama · IQ4_XS Decode 48.58 · Prefill 245.06 ·
- llama.cpp · IQ3_XS Decode 159.32 · Prefill 706.13 ·
- llama.cpp · Q6_K Decode 90.4 · Prefill 328.52 ·
- Ollama · Q3_K_L Decode 131.28 · Prefill 555.46 ·
- Ollama · Q5_K_S Decode 105.03 · Prefill 472.27 ·
- llama.cpp · Q3_K_L Decode 104.81 · Prefill 351.35 ·
- Ollama · IQ1_S Decode 115.64 · Prefill 505.04 ·
- Ollama · Q5_K_S Decode 65.93 · Prefill 214.6 ·
- llama.cpp · Q2_K Decode 65.62 · Prefill 279.34 ·
- Ollama · IQ2_M Decode 64.33 · Prefill 209.5 ·
- Ollama · IQ3_XS Decode 62.24 · Prefill 282.1 ·
- llama.cpp · IQ3_S Decode 184.05 · Prefill 824.37 ·
- Ollama · IQ3_S Decode 248.21 · Prefill 1111.71 ·
- Ollama · IQ4_XS Decode 157.93 · Prefill 586.06 ·
- llama.cpp · IQ3_XS Decode 79.08 · Prefill 304.15 ·
- Ollama · Q2_K Decode 78.89 · Prefill 425.19 ·
- Ollama · Q3_K_S Decode 73.12 · Prefill 238.27 ·
- llama.cpp · IQ1_S Decode 95.3 · Prefill 467.44 ·
- Ollama · IQ2_M Decode 82.41 · Prefill 283.9 ·
- Ollama · Q6_K Decode 50.37 · Prefill 248.31 ·
- llama.cpp · IQ1_S Decode 64.71 · Prefill 267.16 ·
- llama.cpp · IQ2_XS Decode 58.24 · Prefill 303.37 ·
- Ollama · Q4_K_M Decode 32.9 · Prefill 145.14 ·
- llama.cpp · IQ3_S Decode 67.49 · Prefill 263.38 ·
- Ollama · IQ2_M Decode 66.82 · Prefill 219.12 ·
- Ollama · Q5_K_M Decode 43.37 · Prefill 143.55 ·
- llama.cpp · IQ2_M Decode 101.46 · Prefill 460.44 ·
Fit 判定
按显存与内存带宽做物理估算:选择模型,查看各量化能否装下及预计速度
估算公式:tok/s =(带宽 ÷ 模型占用)× 0.55,借鉴 llmfit;实测以运行记录为准
核心规格
- 厂商
- Apple
- 架构
- M5 Max
- 显存
- 128 GB
- 显存带宽
- 614 GB/s
运行记录
共 50 组配置
| 模型 | 框架 | 量化 | Decode | 生成耗时 | 样本数 |
|---|---|---|---|---|---|
| Ministral-3-8B-Instruct-2512 | llama.cpp | IQ4_XS | 75.7 tok/s | — | 1 |
| Ministral-3-8B-Instruct-2512 | Ollama | IQ4_XS | 67.2 tok/s | — | 1 |
| iFlytek Spark-X2.5-4B | llama.cpp | Q3_K_S | 215.5 tok/s | — | 1 |
| iFlytek Spark-X2.5-4B | Ollama | Q2_K | 217.2 tok/s | — | 1 |
| NVIDIA-Nemotron-3.5-Bolt-E4B-4GB | llama.cpp | Q4_K_M | 76.6 tok/s | — | 1 |
| NVIDIA-Nemotron-3.5-Bolt-E4B-4GB | Ollama | Q4_K_M | 69.9 tok/s | — | 1 |
| Flint-40B-A2.5B | llama.cpp | Q3_K_M | 152.5 tok/s | — | 1 |
| Flint-40B-A2.5B | Ollama | IQ4_XS | 123.4 tok/s | — | 1 |
| Flint-40B-A2.5B | Ollama | Q2_K | 153.4 tok/s | — | 1 |
| Raon-1-mini-preview | llama.cpp | IQ2_XS | 104 tok/s | — | 1 |
| Raon-1-mini-preview | llama.cpp | IQ4_XS | 87 tok/s | — | 1 |
| Raon-1-mini-preview | Ollama | IQ1_S | 109.9 tok/s | — | 1 |
| Raon-1-mini-preview | Ollama | Q5_K_S | 61.5 tok/s | — | 1 |
| mammoth-1 | llama.cpp | IQ4_XS | 59.8 tok/s | — | 1 |
| mammoth-1 | llama.cpp | Q3_K_M | 63.7 tok/s | — | 1 |
| mammoth-1 | Ollama | FP16 | 25.7 tok/s | — | 1 |
| elephant-1 | llama.cpp | Q5_K_S | 59.5 tok/s | — | 1 |
| elephant-1 | Ollama | FP16 | 30.8 tok/s | — | 1 |
| elephant-1 | Ollama | Q5_K_S | 53.6 tok/s | — | 1 |
| Qwen3.8-27B | llama.cpp | Q3_K_L | 42.7 tok/s | — | 1 |
| Qwen3.8-27B | llama.cpp | Q6_K | 30.7 tok/s | — | 1 |
| Qwen3.8-27B | Ollama | IQ3_XS | 46.9 tok/s | — | 1 |
| Qwen3.6-27B | llama.cpp | IQ1_S | 83.4 tok/s | — | 1 |
| Qwen3.6-27B | Ollama | IQ4_XS | 48.6 tok/s | — | 1 |
| Qwen3.6-35B-A3B | llama.cpp | IQ3_XS | 159.3 tok/s | — | 1 |
| Qwen3.6-35B-A3B | llama.cpp | Q6_K | 90.4 tok/s | — | 1 |
| Qwen3.6-35B-A3B | Ollama | Q3_K_L | 131.3 tok/s | — | 1 |
| Qwen3.6-35B-A3B | Ollama | Q5_K_S | 105 tok/s | — | 1 |
| Qwen3.5-4B | llama.cpp | Q3_K_L | 104.8 tok/s | — | 1 |
| Qwen3.5-4B | Ollama | IQ1_S | 115.6 tok/s | — | 1 |
| Qwen3.5-4B | Ollama | Q5_K_S | 65.9 tok/s | — | 1 |
| Qwen3.5-27B | llama.cpp | Q2_K | 65.6 tok/s | — | 1 |
| Qwen3.5-27B | Ollama | IQ2_M | 64.3 tok/s | — | 1 |
| Qwen3.5-27B | Ollama | IQ3_XS | 62.2 tok/s | — | 1 |
| Qwen3.5-0.8B | llama.cpp | IQ3_S | 184.1 tok/s | — | 1 |
| Qwen3.5-0.8B | Ollama | IQ3_S | 248.2 tok/s | — | 2 |
| Qwen3.5-0.8B | Ollama | IQ4_XS | 157.9 tok/s | — | 1 |
| Qwen3.8-9B | llama.cpp | IQ3_XS | 79.1 tok/s | — | 1 |
| Qwen3.8-9B | Ollama | Q2_K | 78.9 tok/s | — | 1 |
| Qwen3.8-9B | Ollama | Q3_K_S | 73.1 tok/s | — | 1 |
| Qwen3-8B | llama.cpp | IQ1_S | 95.3 tok/s | — | 1 |
| Qwen3-8B | Ollama | IQ2_M | 82.4 tok/s | — | 1 |
| Qwen3-8B | Ollama | Q6_K | 50.4 tok/s | — | 1 |
| gemma-4-31B-it | llama.cpp | IQ1_S | 64.7 tok/s | — | 1 |
| gemma-4-31B-it | llama.cpp | IQ2_XS | 58.2 tok/s | — | 1 |
| gemma-4-31B-it | Ollama | Q4_K_M | 32.9 tok/s | — | 1 |
| gemma-4-12B-it | llama.cpp | IQ3_S | 67.5 tok/s | — | 1 |
| gemma-4-12B-it | Ollama | IQ2_M | 66.8 tok/s | — | 1 |
| gemma-4-12B-it | Ollama | Q5_K_M | 43.4 tok/s | — | 1 |
| Llama-3.1-8B-Instruct | llama.cpp | IQ2_M | 101.5 tok/s | — | 1 |