Apple M1 Max
其他41
运行记录
15
覆盖模型
4
覆盖框架
L2 跨框架验证 × 41
证据分布
典型性能表现
同硬件上各模型 × 框架 × 量化的已上架实测均值。
- vLLM · FP16 Decode 57.12 · Prefill 260.15 ·
- vLLM · Q3_K_S Decode 135.63 · Prefill 662.69 ·
- Strata · IQ4_XS Decode 158.99 · Prefill 630.94 ·
- llama.cpp · Q5_K_M Decode 65.43 · Prefill 334.37 ·
- Strata · FP16 Decode 50.07 · Prefill 196.15 ·
- Strata · Q5_K_M Decode 86.88 · Prefill 306.63 ·
- vLLM · Q6_K Decode 47.77 · Prefill 232.57 ·
- vLLM · IQ4_XS Decode 222.4 · Prefill 1142.41 ·
- vLLM · Q3_K_S Decode 238.61 · Prefill 1236.73 ·
- Ollama · IQ3_S Decode 214.42 · Prefill 1034.95 ·
- Ollama · Q8_0 Decode 124.21 · Prefill 540.32 ·
- llama.cpp · IQ3_S Decode 82.95 · Prefill 300.79 ·
- llama.cpp · Q4_K_S Decode 83.02 · Prefill 308.94 ·
- Ollama · Q2_K Decode 100.43 · Prefill 476.64 ·
- Ollama · Q5_K_S Decode 62.86 · Prefill 246.16 ·
- Ollama · IQ2_M Decode 105.75 · Prefill 569.54 ·
- Strata · Q4_K_S Decode 115.1 · Prefill 573.93 ·
- llama.cpp · Q2_K Decode 145.16 · Prefill 623.88 ·
- Ollama · IQ2_M Decode 126.39 · Prefill 412.92 ·
- Ollama · Q8_0 Decode 64.73 · Prefill 325.03 ·
- vLLM · Q4_K_S Decode 157.62 · Prefill 743.87 ·
- Strata · IQ4_XS Decode 217.54 · Prefill 1114.27 ·
- Strata · Q6_K Decode 152.31 · Prefill 609.9 ·
- vLLM · FP16 Decode 48.27 · Prefill 248.84 ·
- Strata · IQ3_XS Decode 182.49 · Prefill 683.44 ·
- Strata · Q4_K_M Decode 125.01 · Prefill 495.06 ·
- Ollama · IQ4_XS Decode 76.5 · Prefill 413.9 ·
- Strata · IQ2_M Decode 143.28 · Prefill 613.22 ·
- llama.cpp · Q4_K_S Decode 266.38 · Prefill 866.19 ·
- Strata · Q3_K_L Decode 395.33 · Prefill 1769.04 ·
- llama.cpp · FP16 Decode 57.81 · Prefill 312.83 ·
- llama.cpp · Q3_K_M Decode 128.76 · Prefill 591.62 ·
- Ollama · Q4_K_S Decode 116.7 · Prefill 504.6 ·
- vLLM · Q3_K_M Decode 253.55 · Prefill 1128.29 ·
- Ollama · Q2_K Decode 294.74 · Prefill 1454.22 ·
- Ollama · Q3_K_L Decode 236.47 · Prefill 1174.1 ·
- vLLM · Q3_K_S Decode 189.55 · Prefill 943.94 ·
- vLLM · Q8_0 Decode 98.82 · Prefill 455.48 ·
- Strata · IQ1_S Decode 324.26 · Prefill 1495.83 ·
- Ollama · Q8_0 Decode 65.55 · Prefill 302.64 ·
- Strata · IQ2_M Decode 209.31 · Prefill 930.07 ·
Fit 判定
按显存与内存带宽做物理估算:选择模型,查看各量化能否装下及预计速度
该硬件未收录显存数据,无法判定 Fit
估算公式:tok/s =(带宽 ÷ 模型占用)× 0.55,借鉴 llmfit;实测以运行记录为准
核心规格
- 厂商
- Apple
- 显存带宽
- 400 GB/s
运行记录
共 41 组配置
| 模型 | 框架 | 量化 | Decode | 生成耗时 | 样本数 |
|---|---|---|---|---|---|
| Qwen3.5-4B | vLLM | FP16 | 57.1 tok/s | — | 1 |
| Qwen3.5-4B | vLLM | Q3_K_S | 135.6 tok/s | — | 1 |
| Qwen3.5-4B | Strata | IQ4_XS | 159 tok/s | — | 1 |
| Qwen3.5-9B | llama.cpp | Q5_K_M | 65.4 tok/s | — | 1 |
| Qwen3.5-9B | Strata | FP16 | 50.1 tok/s | — | 1 |
| Qwen3.5-9B | Strata | Q5_K_M | 86.9 tok/s | — | 1 |
| Qwen3.5-27B | vLLM | Q6_K | 47.8 tok/s | — | 1 |
| Qwen3.5-0.8B | vLLM | IQ4_XS | 222.4 tok/s | — | 1 |
| Qwen3.5-0.8B | vLLM | Q3_K_S | 238.6 tok/s | — | 1 |
| Qwen3.5-0.8B | Ollama | IQ3_S | 214.4 tok/s | — | 1 |
| Qwen3.5-0.8B | Ollama | Q8_0 | 124.2 tok/s | — | 1 |
| Qwen3.8-9B | llama.cpp | IQ3_S | 83 tok/s | — | 1 |
| Qwen3.8-9B | llama.cpp | Q4_K_S | 83 tok/s | — | 1 |
| Qwen3.8-9B | Ollama | Q2_K | 100.4 tok/s | — | 1 |
| Qwen3.8-9B | Ollama | Q5_K_S | 62.9 tok/s | — | 1 |
| Qwen3-8B | Ollama | IQ2_M | 105.8 tok/s | — | 1 |
| Qwen3-8B | Strata | Q4_K_S | 115.1 tok/s | — | 1 |
| Qwen3-4B | llama.cpp | Q2_K | 145.2 tok/s | — | 1 |
| Qwen3-4B | Ollama | IQ2_M | 126.4 tok/s | — | 1 |
| Qwen3-4B | Ollama | Q8_0 | 64.7 tok/s | — | 1 |
| Qwen3-1.7B | vLLM | Q4_K_S | 157.6 tok/s | — | 1 |
| Qwen3-1.7B | Strata | IQ4_XS | 217.5 tok/s | — | 1 |
| Qwen3-1.7B | Strata | Q6_K | 152.3 tok/s | — | 1 |
| Qwen3-4B-Thinking-2507 | vLLM | FP16 | 48.3 tok/s | — | 1 |
| Qwen3-4B-Thinking-2507 | Strata | IQ3_XS | 182.5 tok/s | — | 1 |
| Qwen3-4B-Thinking-2507 | Strata | Q4_K_M | 125 tok/s | — | 1 |
| Qwen3-Coder-Next | Ollama | IQ4_XS | 76.5 tok/s | — | 1 |
| Qwen3-Coder-Next | Strata | IQ2_M | 143.3 tok/s | — | 1 |
| Qwen2.5-0.5B-Instruct | llama.cpp | Q4_K_S | 266.4 tok/s | — | 1 |
| Qwen2.5-0.5B-Instruct | Strata | Q3_K_L | 395.3 tok/s | — | 1 |
| Qwen2.5-Omni-3B | llama.cpp | FP16 | 57.8 tok/s | — | 1 |
| Qwen2.5-Omni-3B | llama.cpp | Q3_K_M | 128.8 tok/s | — | 1 |
| Qwen2.5-Omni-3B | Ollama | Q4_K_S | 116.7 tok/s | — | 1 |
| Qwen3-Embedding-0.6B | vLLM | Q3_K_M | 253.6 tok/s | — | 1 |
| Qwen3-Embedding-0.6B | Ollama | Q2_K | 294.7 tok/s | — | 1 |
| Qwen3-Embedding-0.6B | Ollama | Q3_K_L | 236.5 tok/s | — | 1 |
| gemma-4-E2B-it | vLLM | Q3_K_S | 189.6 tok/s | — | 1 |
| gemma-4-E2B-it | vLLM | Q8_0 | 98.8 tok/s | — | 1 |
| gemma-4-E2B-it | Strata | IQ1_S | 324.3 tok/s | — | 1 |
| gemma-4-E4B-it | Ollama | Q8_0 | 65.5 tok/s | — | 1 |
| gemma-4-E4B-it | Strata | IQ2_M | 209.3 tok/s | — | 1 |