Apple M3 Max
笔记本Apple 统一内存 SoC,本站条目对应 36GB 配置(14 核 CPU / 30 核 GPU),内存带宽 300 GB/s。16 核 CPU / 40 核 GPU 的 M3 Max 版本带宽为 400 GB/s,最高可选 128GB 统一内存。Apple 不公布 TDP,该列留空。
41
运行记录
14
覆盖模型
4
覆盖框架
L0 自报 × 7 · L2 跨框架验证 × 34
证据分布
典型性能表现
同硬件上各模型 × 框架 × 量化的已上架实测均值。
- llama.cpp · IQ3_XS Decode 96.32 · Prefill 353.29 ·
- Ollama · IQ2_XS Decode 109.19 · Prefill 420.91 ·
- Ollama · IQ2_M Decode 78.91 · Prefill 300.73 ·
- Strata · IQ2_M Decode 121.51 · Prefill 396.4 ·
- llama.cpp · IQ2_XS Decode 89.41 · Prefill 406.89 ·
- vLLM · IQ1_S Decode 102.56 · Prefill 411.25 ·
- llama.cpp · IQ2_M Decode 188.61 · Prefill 924.46 ·
- llama.cpp · Q6_K Decode 107.73 · Prefill 580.34 ·
- Ollama · Q4_K_S Decode 130.85 · Prefill 560.14 ·
- Strata · Q3_K_M Decode 237.4 · Prefill 1147.78 ·
- Strata · Q6_K Decode 145.1 · Prefill 751.14 ·
- Strata · Q2_K Decode 150.5 · Prefill 804.01 ·
- llama.cpp · IQ2_XS Decode 369.47 · Prefill 2026.25 ·
- llama.cpp · IQ3_XS Decode 313.86 · Prefill 1064.12 ·
- Ollama · Q3_K_M Decode 286.62 · Prefill 1285.71 ·
- Strata · Q8_0 Decode 237.48 · Prefill 1069.27 ·
- llama.cpp · IQ2_M Decode 136.47 · Prefill 438.69 ·
- llama.cpp · IQ3_S Decode 126.59 · Prefill 664.89 ·
- Strata · Q2_K Decode 180.32 · Prefill 900.55 ·
- llama.cpp · FP16 Decode 58.36 · Prefill 290.84 ·
- llama.cpp · IQ2_M Decode 137.92 · Prefill 603.9 ·
- vLLM · FP16 Decode 57.8 · Prefill 255.66 ·
- vLLM · IQ2_M Decode 145.31 · Prefill 613.3 ·
- Ollama · IQ2_M Decode 129.83 · Prefill 636.38 ·
- vLLM · IQ2_XS Decode 309.15 · Prefill 1109.54 ·
- vLLM · Q3_K_L Decode 226.47 · Prefill 1116.37 ·
- Ollama · FP16 Decode 96.85 · Prefill 510.37 ·
- Ollama · IQ4_XS Decode 188.36 · Prefill 704.89 ·
- Strata · Q5_K_S Decode 239.13 · Prefill 849.25 ·
- llama.cpp · Q2_K Decode 64.47 · Prefill 330.47 ·
- Ollama · Q2_K Decode 65.74 · Prefill 261.65 ·
- llama.cpp · Q4_K_M Decode 85.7 · Prefill 345.14 ·
- llama.cpp · Q5_K_S Decode 77.34 · Prefill 357.59 ·
- Ollama · IQ3_S Decode 94.58 · Prefill 396.89 ·
- llama.cpp · IQ2_XS Decode 0.9 · Prefill 6.8 ·
- llama.cpp · IQ3_S Decode 0.8 · Prefill 6 ·
- llama.cpp · IQ2_XS Decode 0.9 · Prefill 6.8 ·
- llama.cpp · IQ3_S Decode 0.8 · Prefill 6 ·
- llama.cpp · IQ2_XS Decode 25.7 · Prefill 192.8 ·
- llama.cpp · Q5_K_M Decode 11.7 · Prefill 87.8 ·
- llama.cpp · Q4_K_M Decode 14.3 · Prefill 107.3 ·
Fit 判定
按显存与内存带宽做物理估算:选择模型,查看各量化能否装下及预计速度
估算公式:tok/s =(带宽 ÷ 模型占用)× 0.55,借鉴 llmfit;实测以运行记录为准
核心规格
- 厂商
- Apple
- 架构
- M3 Max
- 显存
- 36 GB
- 显存带宽
- 300 GB/s
- 发布日期
- 2023-10-30
运行记录
共 41 组配置
| 模型 | 框架 | 量化 | Decode | 生成耗时 | 样本数 |
|---|---|---|---|---|---|
| Qwen3.8-27B | llama.cpp | IQ3_XS | 96.3 tok/s | — | 1 |
| Qwen3.6-27B | Ollama | IQ2_XS | 109.2 tok/s | — | 1 |
| Qwen3.5-35B-A3B | Ollama | IQ2_M | 78.9 tok/s | — | 1 |
| Qwen3.5-35B-A3B | Strata | IQ2_M | 121.5 tok/s | — | 1 |
| Qwen3.6-35B-A3B | llama.cpp | IQ2_XS | 89.4 tok/s | — | 1 |
| Qwen3.6-35B-A3B | vLLM | IQ1_S | 102.6 tok/s | — | 1 |
| Qwen3.5-4B | llama.cpp | IQ2_M | 188.6 tok/s | — | 1 |
| Qwen3.5-4B | llama.cpp | Q6_K | 107.7 tok/s | — | 1 |
| Qwen3.5-4B | Ollama | Q4_K_S | 130.8 tok/s | — | 1 |
| Qwen3.5-4B | Strata | Q3_K_M | 237.4 tok/s | — | 1 |
| Qwen3.5-4B | Strata | Q6_K | 145.1 tok/s | — | 1 |
| Qwen3.5-27B | Strata | Q2_K | 150.5 tok/s | — | 1 |
| Qwen3.5-0.8B | llama.cpp | IQ2_XS | 369.5 tok/s | — | 1 |
| Qwen3.5-0.8B | llama.cpp | IQ3_XS | 313.9 tok/s | — | 1 |
| Qwen3.5-0.8B | Ollama | Q3_K_M | 286.6 tok/s | — | 1 |
| Qwen3.5-0.8B | Strata | Q8_0 | 237.5 tok/s | — | 1 |
| Qwen3.8-9B | llama.cpp | IQ2_M | 136.5 tok/s | — | 1 |
| Qwen3.8-9B | llama.cpp | IQ3_S | 126.6 tok/s | — | 1 |
| Qwen3.8-9B | Strata | Q2_K | 180.3 tok/s | — | 1 |
| Qwen3-8B | llama.cpp | FP16 | 58.4 tok/s | — | 1 |
| Qwen3-8B | llama.cpp | IQ2_M | 137.9 tok/s | — | 1 |
| Qwen3-8B | vLLM | FP16 | 57.8 tok/s | — | 1 |
| Qwen3-8B | vLLM | IQ2_M | 145.3 tok/s | — | 1 |
| Qwen3-8B | Ollama | IQ2_M | 129.8 tok/s | — | 1 |
| Qwen3-1.7B | vLLM | IQ2_XS | 309.1 tok/s | — | 1 |
| Qwen3-1.7B | vLLM | Q3_K_L | 226.5 tok/s | — | 1 |
| Qwen3-1.7B | Ollama | FP16 | 96.8 tok/s | — | 1 |
| Qwen3-1.7B | Ollama | IQ4_XS | 188.4 tok/s | — | 1 |
| Qwen3-1.7B | Strata | Q5_K_S | 239.1 tok/s | — | 1 |
| gemma-4-31B-it | llama.cpp | Q2_K | 64.5 tok/s | — | 1 |
| gemma-4-31B-it | Ollama | Q2_K | 65.7 tok/s | — | 1 |
| gemma-4-12B-it | llama.cpp | Q4_K_M | 85.7 tok/s | — | 1 |
| gemma-4-12B-it | llama.cpp | Q5_K_S | 77.3 tok/s | — | 1 |
| gemma-4-12B-it | Ollama | IQ3_S | 94.6 tok/s | — | 1 |
| GLM-5.3 | llama.cpp | IQ2_XS | 0.9 tok/s | — | 1 |
| GLM-5.3 | llama.cpp | IQ3_S | 0.8 tok/s | — | 1 |
| DeepSeek-V4.1-Flash | llama.cpp | IQ2_XS | 0.9 tok/s | — | 1 |
| DeepSeek-V4.1-Flash | llama.cpp | IQ3_S | 0.8 tok/s | — | 1 |
| Qwen3.8-27B | llama.cpp | IQ2_XS | 25.7 tok/s | — | 1 |
| Qwen3.8-27B | llama.cpp | Q5_K_M | 11.7 tok/s | — | 1 |
| Qwen3.8-27B | llama.cpp | Q4_K_M | 14.3 tok/s | — | 1 |