Apple M5 Ultra

台式机

Apple 工作站级统一内存 SoC,2026-08-25 随新款 Mac Studio 发布:最高 36 核 CPU / 80 核 GPU,最高 512GB 统一内存,内存带宽 1.2 TB/s(约 1200 GB/s,比上代高 50%)。是目前单机可装载最大模型的消费级平台之一。Apple 不公布 TDP,该列留空。

69

运行记录

25

覆盖模型

2

覆盖框架

L0 自报 × 7 · L2 跨框架验证 × 62

证据分布

典型性能表现

同硬件上各模型 × 框架 × 量化的已上架实测均值。

  1. llama.cpp · IQ3_S Decode 153.37 · Prefill 580.58 ·
  2. Ollama · IQ2_M Decode 156.39 · Prefill 558.43 ·
  3. llama.cpp · Q5_K_M Decode 84.63 · Prefill 432.9 ·
  4. Ollama · Q3_K_S Decode 125.07 · Prefill 471.87 ·
  5. llama.cpp · IQ2_M Decode 381.7 · Prefill 1687.3 ·
  6. Ollama · IQ2_XS Decode 337.8 · Prefill 1438.9 ·
  7. llama.cpp · Q4_K_M Decode 130.96 · Prefill 547.83 ·
  8. Ollama · Q4_K_M Decode 106.35 · Prefill 353.45 ·
  9. llama.cpp · IQ1_S Decode 324.79 · Prefill 1453.99 ·
  10. llama.cpp · Q5_K_S Decode 181.42 · Prefill 831.96 ·
  11. Ollama · Q2_K Decode 230.73 · Prefill 1077.9 ·
  12. llama.cpp · Q8_0 Decode 76.11 · Prefill 389.07 ·
  13. Ollama · Q4_K_S Decode 118.22 · Prefill 450.95 ·
  14. llama.cpp · Q3_K_M Decode 90.54 · Prefill 497.72 ·
  15. llama.cpp · Q5_K_S Decode 71.27 · Prefill 325.67 ·
  16. Ollama · IQ4_XS Decode 81.44 · Prefill 327.07 ·
  17. llama.cpp · Q3_K_S Decode 117.38 · Prefill 386.02 ·
  18. llama.cpp · Q5_K_S Decode 83.32 · Prefill 309.36 ·
  19. Ollama · Q6_K Decode 62.32 · Prefill 341.91 ·
  20. llama.cpp · IQ2_XS Decode 89.58 · Prefill 565.47 ·
  21. Ollama · Q2_K Decode 74.38 · Prefill 283.32 ·
  22. Ollama · Q3_K_S Decode 60.73 · Prefill 250.32 ·
  23. llama.cpp · IQ3_XS Decode 91.11 · Prefill 454.84 ·
  24. llama.cpp · Q4_K_S Decode 81.06 · Prefill 387.21 ·
  25. Ollama · IQ3_S Decode 85.88 · Prefill 388.53 ·
  26. Ollama · Q6_K Decode 53.29 · Prefill 218.93 ·
  27. llama.cpp · Q5_K_S Decode 169.24 · Prefill 662.43 ·
  28. Ollama · Q3_K_M Decode 206.74 · Prefill 725.54 ·
  29. llama.cpp · IQ1_S Decode 190.95 · Prefill 992.52 ·
  30. Ollama · Q3_K_L Decode 144 · Prefill 660.08 ·
  31. llama.cpp · IQ1_S Decode 131.5 · Prefill 444.06 ·
  32. Ollama · Q3_K_S Decode 84 · Prefill 452.07 ·
  33. llama.cpp · Q8_0 Decode 165.05 · Prefill 859.2 ·
  34. Ollama · IQ2_M Decode 328.08 · Prefill 1800.71 ·
  35. Ollama · IQ3_XS Decode 260.88 · Prefill 1003.67 ·
  36. llama.cpp · IQ2_M Decode 130.42 · Prefill 681.87 ·
  37. Ollama · Q8_0 Decode 57.41 · Prefill 209.64 ·
  38. llama.cpp · Q4_K_M Decode 102.09 · Prefill 450.54 ·
  39. llama.cpp · Q6_K Decode 73.25 · Prefill 373.92 ·
  40. Ollama · IQ3_XS Decode 108 · Prefill 446.71 ·
  41. Ollama · Q4_K_S Decode 102.76 · Prefill 333.29 ·
  42. llama.cpp · Q3_K_L Decode 65.89 · Prefill 258.39 ·
  43. llama.cpp · Q8_0 Decode 37.99 · Prefill 165.65 ·
  44. Ollama · Q2_K Decode 75.92 · Prefill 280.65 ·
  45. Ollama · Q8_0 Decode 38.85 · Prefill 140.28 ·
  46. llama.cpp · IQ3_XS Decode 105.53 · Prefill 434.57 ·
  47. Ollama · Q3_K_L Decode 86.92 · Prefill 466.52 ·
  48. Ollama · Q5_K_S Decode 66.58 · Prefill 239.33 ·
  49. llama.cpp · Q3_K_S Decode 134.78 · Prefill 545.26 ·
  50. llama.cpp · Q5_K_S Decode 104.75 · Prefill 395.8 ·

Fit 判定

按显存与内存带宽做物理估算:选择模型,查看各量化能否装下及预计速度

估算公式:tok/s =(带宽 ÷ 模型占用)× 0.55,借鉴 llmfit;实测以运行记录为准

核心规格

厂商
Apple
架构
M5 Ultra
显存
512 GB
显存带宽
1200 GB/s
发布日期
2026-08-25

运行记录

共 50 组配置

模型框架量化Decode生成耗时样本数
gemma-4-E4B-itllama.cppIQ3_S153.4 tok/s—1
gemma-4-E4B-itOllamaIQ2_M156.4 tok/s—1
Ministral-3-8B-Instruct-2512llama.cppQ5_K_M84.6 tok/s—1
Ministral-3-8B-Instruct-2512OllamaQ3_K_S125.1 tok/s—1
iFlytek Spark-X2.5-4Bllama.cppIQ2_M381.7 tok/s—1
iFlytek Spark-X2.5-4BOllamaIQ2_XS337.8 tok/s—1
NVIDIA-Nemotron-3.5-Bolt-E4B-4GBllama.cppQ4_K_M131 tok/s—1
NVIDIA-Nemotron-3.5-Bolt-E4B-4GBOllamaQ4_K_M106.3 tok/s—1
Flint-40B-A2.5Bllama.cppIQ1_S324.8 tok/s—1
Flint-40B-A2.5Bllama.cppQ5_K_S181.4 tok/s—1
Flint-40B-A2.5BOllamaQ2_K230.7 tok/s—1
Raon-1-mini-previewllama.cppQ8_076.1 tok/s—1
Raon-1-mini-previewOllamaQ4_K_S118.2 tok/s—1
mammoth-1llama.cppQ3_K_M90.5 tok/s—1
mammoth-1llama.cppQ5_K_S71.3 tok/s—1
mammoth-1OllamaIQ4_XS81.4 tok/s—1
elephant-1llama.cppQ3_K_S117.4 tok/s—1
elephant-1llama.cppQ5_K_S83.3 tok/s—1
elephant-1OllamaQ6_K62.3 tok/s—1
Qwen3.8-27Bllama.cppIQ2_XS89.6 tok/s—2
Qwen3.8-27BOllamaQ2_K74.4 tok/s—1
Qwen3.8-27BOllamaQ3_K_S60.7 tok/s—1
Qwen3.6-27Bllama.cppIQ3_XS91.1 tok/s—1
Qwen3.6-27Bllama.cppQ4_K_S81.1 tok/s—1
Qwen3.6-27BOllamaIQ3_S85.9 tok/s—1
Qwen3.6-27BOllamaQ6_K53.3 tok/s—1
Qwen3.6-35B-A3Bllama.cppQ5_K_S169.2 tok/s—1
Qwen3.6-35B-A3BOllamaQ3_K_M206.7 tok/s—1
Qwen3.5-4Bllama.cppIQ1_S190.9 tok/s—1
Qwen3.5-4BOllamaQ3_K_L144 tok/s—1
Qwen3.5-27Bllama.cppIQ1_S131.5 tok/s—1
Qwen3.5-27BOllamaQ3_K_S84 tok/s—1
Qwen3.5-0.8Bllama.cppQ8_0165.1 tok/s—1
Qwen3.5-0.8BOllamaIQ2_M328.1 tok/s—1
Qwen3.5-0.8BOllamaIQ3_XS260.9 tok/s—1
Qwen3.8-9Bllama.cppIQ2_M130.4 tok/s—1
Qwen3.8-9BOllamaQ8_057.4 tok/s—1
Qwen3-8Bllama.cppQ4_K_M102.1 tok/s—1
Qwen3-8Bllama.cppQ6_K73.3 tok/s—1
Qwen3-8BOllamaIQ3_XS108 tok/s—1
Qwen3-8BOllamaQ4_K_S102.8 tok/s—1
gemma-4-31B-itllama.cppQ3_K_L65.9 tok/s—1
gemma-4-31B-itllama.cppQ8_038 tok/s—1
gemma-4-31B-itOllamaQ2_K75.9 tok/s—1
gemma-4-31B-itOllamaQ8_038.9 tok/s—1
gemma-4-12B-itllama.cppIQ3_XS105.5 tok/s—1
gemma-4-12B-itOllamaQ3_K_L86.9 tok/s—1
gemma-4-12B-itOllamaQ5_K_S66.6 tok/s—1
Llama-3.1-8B-Instructllama.cppQ3_K_S134.8 tok/s—1
Llama-3.1-8B-Instructllama.cppQ5_K_S104.8 tok/s—1