Apple M2 Ultra

其他

107

运行记录

33

覆盖模型

4

覆盖框架

L1 已复现 × 1 · L2 跨框架验证 × 106

证据分布

典型性能表现

同硬件上各模型 × 框架 × 量化的已上架实测均值。

  1. llama.cpp · Q3_K_M Decode 119.5 · Prefill 580.12 ·
  2. Ollama · IQ3_S Decode 108.26 · Prefill 586.93 ·
  3. llama.cpp · Q2_K Decode 325.56 · Prefill 1312.17 ·
  4. Ollama · IQ4_XS Decode 260.88 · Prefill 1133.93 ·
  5. llama.cpp · Q4_K_M Decode 119.47 · Prefill 397.94 ·
  6. Ollama · Q4_K_M Decode 118.08 · Prefill 636.62 ·
  7. llama.cpp · Q5_K_S Decode 159.13 · Prefill 607.98 ·
  8. Ollama · IQ4_XS Decode 184.42 · Prefill 830.52 ·
  9. llama.cpp · IQ2_M Decode 155.94 · Prefill 578.17 ·
  10. llama.cpp · IQ3_S Decode 130 · Prefill 684.42 ·
  11. Ollama · Q4_K_M Decode 110.45 · Prefill 501.39 ·
  12. llama.cpp · IQ2_M Decode 102.29 · Prefill 417.96 ·
  13. llama.cpp · Q5_K_M Decode 67.37 · Prefill 314.26 ·
  14. Ollama · IQ1_S Decode 100.6 · Prefill 448.02 ·
  15. llama.cpp · Q4_K_M Decode 92.52 · Prefill 377.54 ·
  16. llama.cpp · Q4_K_S Decode 88.6 · Prefill 484.39 ·
  17. Ollama · Q6_K Decode 67.84 · Prefill 354.32 ·
  18. llama.cpp · IQ2_XS Decode 77.57 · Prefill 340.43 ·
  19. Ollama · IQ2_XS Decode 73.6 · Prefill 261.9 ·
  20. Ollama · IQ3_XS Decode 64.55 · Prefill 256.75 ·
  21. llama.cpp · Q4_K_M Decode 67.38 · Prefill 344.18 ·
  22. Ollama · Q3_K_L Decode 80.85 · Prefill 325.8 ·
  23. llama.cpp · IQ1_S Decode 250.48 · Prefill 981.93 ·
  24. llama.cpp · Q8_0 Decode 114.98 · Prefill 558.64 ·
  25. Ollama · Q2_K Decode 217.13 · Prefill 942.96 ·
  26. llama.cpp · IQ3_XS Decode 156.36 · Prefill 856.45 ·
  27. llama.cpp · Q3_K_L Decode 147.11 · Prefill 678.92 ·
  28. Ollama · IQ2_M Decode 176 · Prefill 698.29 ·
  29. llama.cpp · Q3_K_L Decode 82.49 · Prefill 401.83 ·
  30. Ollama · IQ2_M Decode 104.98 · Prefill 551.16 ·
  31. llama.cpp · IQ1_S Decode 344.97 · Prefill 1343.81 ·
  32. llama.cpp · Q6_K Decode 188.49 · Prefill 853.9 ·
  33. Ollama · FP16 Decode 117 · Prefill 552.38 ·
  34. Ollama · Q8_0 Decode 150.72 · Prefill 712.42 ·
  35. llama.cpp · Q3_K_L Decode 110.22 · Prefill 411.86 ·
  36. Ollama · IQ3_XS Decode 108.03 · Prefill 420.83 ·
  37. llama.cpp · Q3_K_S Decode 119.1 · Prefill 434.44 ·
  38. Ollama · Q2_K Decode 112.25 · Prefill 576.42 ·
  39. llama.cpp · Q4_K_M Decode 58.99 · Prefill 259.24 ·
  40. Ollama · IQ2_XS Decode 73.22 · Prefill 389.92 ·
  41. llama.cpp · IQ4_XS Decode 90.66 · Prefill 438.77 ·
  42. llama.cpp · Q5_K_S Decode 66.9 · Prefill 326.75 ·
  43. Ollama · Q2_K Decode 96.52 · Prefill 478.87 ·
  44. llama.cpp · Q3_K_L Decode 129.48 · Prefill 476.49 ·
  45. llama.cpp · Q4_K_S Decode 123.15 · Prefill 540.31 ·
  46. Ollama · Q4_K_S Decode 103.18 · Prefill 542.74 ·
  47. llama.cpp · IQ2_M Decode 144.03 · Prefill 634.04 ·
  48. llama.cpp · Q2_K Decode 151.53 · Prefill 649.5 ·
  49. Ollama · IQ3_S Decode 116.94 · Prefill 440.9 ·
  50. Ollama · Q3_K_M Decode 114.21 · Prefill 572.36 ·

Fit 判定

按显存与内存带宽做物理估算:选择模型,查看各量化能否装下及预计速度

该硬件未收录显存数据,无法判定 Fit

估算公式:tok/s =(带宽 ÷ 模型占用)× 0.55,借鉴 llmfit;实测以运行记录为准

核心规格

厂商
Apple
显存带宽
800 GB/s

运行记录

共 50 组配置

模型框架量化Decode生成耗时样本数
Ministral-3-8B-Instruct-2512llama.cppQ3_K_M119.5 tok/s—1
Ministral-3-8B-Instruct-2512OllamaIQ3_S108.3 tok/s—1
iFlytek Spark-X2.5-4Bllama.cppQ2_K325.6 tok/s—1
iFlytek Spark-X2.5-4BOllamaIQ4_XS260.9 tok/s—1
NVIDIA-Nemotron-3.5-Bolt-E4B-4GBllama.cppQ4_K_M119.5 tok/s—1
NVIDIA-Nemotron-3.5-Bolt-E4B-4GBOllamaQ4_K_M118.1 tok/s—1
Flint-40B-A2.5Bllama.cppQ5_K_S159.1 tok/s—1
Flint-40B-A2.5BOllamaIQ4_XS184.4 tok/s—1
Raon-1-mini-previewllama.cppIQ2_M155.9 tok/s—1
Raon-1-mini-previewllama.cppIQ3_S130 tok/s—1
Raon-1-mini-previewOllamaQ4_K_M110.5 tok/s—1
mammoth-1llama.cppIQ2_M102.3 tok/s—1
mammoth-1llama.cppQ5_K_M67.4 tok/s—1
mammoth-1OllamaIQ1_S100.6 tok/s—1
elephant-1llama.cppQ4_K_M92.5 tok/s—1
elephant-1llama.cppQ4_K_S88.6 tok/s—1
elephant-1OllamaQ6_K67.8 tok/s—1
Qwen3.8-27Bllama.cppIQ2_XS77.6 tok/s—1
Qwen3.8-27BOllamaIQ2_XS73.6 tok/s—1
Qwen3.8-27BOllamaIQ3_XS64.5 tok/s—1
Qwen3.6-27Bllama.cppQ4_K_M67.4 tok/s—1
Qwen3.6-27BOllamaQ3_K_L80.8 tok/s—1
Qwen3.6-35B-A3Bllama.cppIQ1_S250.5 tok/s—1
Qwen3.6-35B-A3Bllama.cppQ8_0115 tok/s—1
Qwen3.6-35B-A3BOllamaQ2_K217.1 tok/s—1
Qwen3.5-4Bllama.cppIQ3_XS156.4 tok/s—1
Qwen3.5-4Bllama.cppQ3_K_L147.1 tok/s—1
Qwen3.5-4BOllamaIQ2_M176 tok/s—2
Qwen3.5-27Bllama.cppQ3_K_L82.5 tok/s—1
Qwen3.5-27BOllamaIQ2_M105 tok/s—1
Qwen3.5-0.8Bllama.cppIQ1_S345 tok/s—1
Qwen3.5-0.8Bllama.cppQ6_K188.5 tok/s—1
Qwen3.5-0.8BOllamaFP16117 tok/s—1
Qwen3.5-0.8BOllamaQ8_0150.7 tok/s—1
Qwen3.8-9Bllama.cppQ3_K_L110.2 tok/s—1
Qwen3.8-9BOllamaIQ3_XS108 tok/s—1
Qwen3-8Bllama.cppQ3_K_S119.1 tok/s—1
Qwen3-8BOllamaQ2_K112.3 tok/s—1
gemma-4-31B-itllama.cppQ4_K_M59 tok/s—1
gemma-4-31B-itOllamaIQ2_XS73.2 tok/s—1
gemma-4-12B-itllama.cppIQ4_XS90.7 tok/s—1
gemma-4-12B-itllama.cppQ5_K_S66.9 tok/s—1
gemma-4-12B-itOllamaQ2_K96.5 tok/s—1
Llama-3.1-8B-Instructllama.cppQ3_K_L129.5 tok/s—1
Llama-3.1-8B-Instructllama.cppQ4_K_S123.2 tok/s—1
Llama-3.1-8B-InstructOllamaQ4_K_S103.2 tok/s—1
Llama-3-8B-Instructllama.cppIQ2_M144 tok/s—1
Llama-3-8B-Instructllama.cppQ2_K151.5 tok/s—1
Llama-3-8B-InstructOllamaIQ3_S116.9 tok/s—1
Llama-3-8B-InstructOllamaQ3_K_M114.2 tok/s—1