Apple M5 Ultra
台式机Apple 工作站级统一内存 SoC，2026-08-25 随新款 Mac Studio 发布：最高 36 核 CPU / 80 核 GPU，最高 512GB 统一内存，内存带宽 1.2 TB/s（约 1200 GB/s，比上代高 50%）。是目前单机可装载最大模型的消费级平台之一。Apple 不公布 TDP，该列留空。
19
运行记录
7
覆盖模型
1
覆盖框架
L0 自报 × 19
证据分布
典型性能表现
同硬件上各模型 × 框架 × 量化的已上架实测均值。
- llama.cpp · IQ2_XS Decode 3.7 · Prefill 27.8 ·
- llama.cpp · IQ3_S Decode 3.1 · Prefill 23.3 ·
- llama.cpp · IQ2_XS Decode 3.6 · Prefill 27 ·
- llama.cpp · IQ3_S Decode 3 · Prefill 22.5 ·
- llama.cpp · IQ2_XS Decode 102.9 · Prefill 771.8 ·
- llama.cpp · Q5_K_M Decode 46.8 · Prefill 351 ·
- llama.cpp · Q4_K_M Decode 57.1 · Prefill 428.3 ·
- llama.cpp · Q4_K_M Decode 22 · Prefill 165 ·
- llama.cpp · IQ3_S Decode 33 · Prefill 247.5 ·
- llama.cpp · IQ2_XS Decode 39.7 · Prefill 297.8 ·
- llama.cpp · Q4_K_M Decode 22 · Prefill 165 ·
- llama.cpp · IQ3_S Decode 33 · Prefill 247.5 ·
- llama.cpp · IQ2_XS Decode 39.7 · Prefill 297.8 ·
- llama.cpp · Q4_K_M Decode 21.4 · Prefill 160.5 ·
- llama.cpp · IQ3_S Decode 32.1 · Prefill 240.8 ·
- llama.cpp · IQ2_XS Decode 38.5 · Prefill 288.8 ·
- llama.cpp · Q8_0 Decode 108.8 · Prefill 816 ·
- llama.cpp · Q5_K_M Decode 158.6 · Prefill 1189.5 ·
- llama.cpp · Q4_K_M Decode 191 · Prefill 1432.5 ·
核心规格
- 厂商
- Apple
- 架构
- M5 Ultra
- 显存
- 512 GB
- 显存带宽
- 1200 GB/s
- 发布日期
- 2026-08-25
运行记录
共 19 组配置
| 模型 | 框架 | 量化 | Decode | 生成耗时 | 样本数 |
|---|---|---|---|---|---|
| GLM-5.3 | llama.cpp | IQ2_XS | 3.7 tok/s | — | 1 |
| GLM-5.3 | llama.cpp | IQ3_S | 3.1 tok/s | — | 1 |
| DeepSeek-V4.1-Flash | llama.cpp | IQ2_XS | 3.6 tok/s | — | 1 |
| DeepSeek-V4.1-Flash | llama.cpp | IQ3_S | 3 tok/s | — | 1 |
| Qwen3.8-27B | llama.cpp | IQ2_XS | 102.9 tok/s | — | 1 |
| Qwen3.8-27B | llama.cpp | Q5_K_M | 46.8 tok/s | — | 1 |
| Qwen3.8-27B | llama.cpp | Q4_K_M | 57.1 tok/s | — | 1 |
| Mistral Large 3 70B | llama.cpp | Q4_K_M | 22 tok/s | — | 1 |
| Mistral Large 3 70B | llama.cpp | IQ3_S | 33 tok/s | — | 1 |
| Mistral Large 3 70B | llama.cpp | IQ2_XS | 39.7 tok/s | — | 1 |
| Llama 5 70B | llama.cpp | Q4_K_M | 22 tok/s | — | 1 |
| Llama 5 70B | llama.cpp | IQ3_S | 33 tok/s | — | 1 |
| Llama 5 70B | llama.cpp | IQ2_XS | 39.7 tok/s | — | 1 |
| Qwen 4 72B | llama.cpp | Q4_K_M | 21.4 tok/s | — | 1 |
| Qwen 4 72B | llama.cpp | IQ3_S | 32.1 tok/s | — | 1 |
| Qwen 4 72B | llama.cpp | IQ2_XS | 38.5 tok/s | — | 1 |
| Qwen 4 8B | llama.cpp | Q8_0 | 108.8 tok/s | — | 1 |
| Qwen 4 8B | llama.cpp | Q5_K_M | 158.6 tok/s | — | 1 |
| Qwen 4 8B | llama.cpp | Q4_K_M | 191 tok/s | — | 1 |