Arao AI

Apple M2 Pro

其他

41

运行记录

14

覆盖模型

4

覆盖框架

L2 跨框架验证 × 41

证据分布

典型性能表现

同硬件上各模型 × 框架 × 量化的已上架实测均值。

  1. llama.cpp · IQ2_M Decode 118.95 · Prefill 519.35 ·
  2. llama.cpp · Q4_K_M Decode 94 · Prefill 499.11 ·
  3. Ollama · Q6_K Decode 70.16 · Prefill 240.68 ·
  4. Ollama · Q3_K_L Decode 72.52 · Prefill 271.12 ·
  5. Ollama · Q5_K_M Decode 52.96 · Prefill 269.51 ·
  6. Strata · Q3_K_M Decode 98.43 · Prefill 413.44 ·
  7. Strata · Q5_K_S Decode 84.64 · Prefill 401.91 ·
  8. Ollama · Q3_K_M Decode 180.06 · Prefill 719.07 ·
  9. Strata · IQ3_S Decode 271.19 · Prefill 1175.39 ·
  10. Strata · Q3_K_L Decode 271.73 · Prefill 1155.68 ·
  11. vLLM · Q5_K_M Decode 58.73 · Prefill 314.79 ·
  12. vLLM · Q6_K Decode 56.64 · Prefill 295.33 ·
  13. Ollama · Q8_0 Decode 42.75 · Prefill 231.64 ·
  14. llama.cpp · Q5_K_M Decode 62.75 · Prefill 286.25 ·
  15. Strata · IQ2_M Decode 136.65 · Prefill 632.89 ·
  16. vLLM · FP16 Decode 48.46 · Prefill 199.81 ·
  17. vLLM · Q6_K Decode 72.96 · Prefill 295.88 ·
  18. Strata · FP16 Decode 65.24 · Prefill 265.48 ·
  19. llama.cpp · IQ3_XS Decode 176.88 · Prefill 629.62 ·
  20. llama.cpp · Q3_K_S Decode 168.44 · Prefill 689.11 ·
  21. vLLM · Q2_K Decode 177.75 · Prefill 635.73 ·
  22. vLLM · Q3_K_S Decode 168.62 · Prefill 623.7 ·
  23. vLLM · IQ3_S Decode 112.31 · Prefill 603.83 ·
  24. Strata · IQ2_M Decode 171.6 · Prefill 574.16 ·
  25. Strata · Q4_K_S Decode 119.23 · Prefill 515.15 ·
  26. llama.cpp · Q5_K_M Decode 54.45 · Prefill 244.86 ·
  27. vLLM · Q3_K_S Decode 89.59 · Prefill 433.4 ·
  28. vLLM · Q3_K_L Decode 248.22 · Prefill 810.72 ·
  29. Ollama · Q5_K_S Decode 165.81 · Prefill 551.58 ·
  30. Ollama · Q8_0 Decode 140.52 · Prefill 749.46 ·
  31. vLLM · IQ1_S Decode 161.76 · Prefill 837.8 ·
  32. Ollama · IQ2_XS Decode 130.3 · Prefill 686.33 ·
  33. Ollama · Q3_K_L Decode 100.83 · Prefill 364.74 ·
  34. vLLM · Q5_K_M Decode 162.76 · Prefill 684.58 ·
  35. Ollama · Q5_K_M Decode 141.79 · Prefill 490.44 ·
  36. vLLM · Q4_K_M Decode 128.43 · Prefill 487.16 ·
  37. Ollama · IQ2_XS Decode 158.03 · Prefill 828.05 ·
  38. Ollama · Q3_K_S Decode 140.03 · Prefill 568.6 ·
  39. vLLM · FP16 Decode 45.65 · Prefill 229.99 ·
  40. vLLM · IQ3_S Decode 120.89 · Prefill 462.7 ·
  41. Ollama · Q3_K_S Decode 106.08 · Prefill 378.66 ·

核心规格

厂商
Apple
显存带宽
200 GB/s

运行记录

共 41 组配置

模型框架量化Decode生成耗时样本数
Qwen3.5-4Bllama.cppIQ2_M119 tok/s—1
Qwen3.5-4Bllama.cppQ4_K_M94 tok/s—1
Qwen3.5-4BOllamaQ6_K70.2 tok/s—1
Qwen3.5-9BOllamaQ3_K_L72.5 tok/s—1
Qwen3.5-9BOllamaQ5_K_M53 tok/s—1
Qwen3.5-9BStrataQ3_K_M98.4 tok/s—1
Qwen3.5-9BStrataQ5_K_S84.6 tok/s—1
Qwen3.5-0.8BOllamaQ3_K_M180.1 tok/s—1
Qwen3.5-0.8BStrataIQ3_S271.2 tok/s—1
Qwen3.5-0.8BStrataQ3_K_L271.7 tok/s—1
Qwen3.8-9BvLLMQ5_K_M58.7 tok/s—1
Qwen3.8-9BvLLMQ6_K56.6 tok/s—1
Qwen3.8-9BOllamaQ8_042.8 tok/s—1
Qwen3-8Bllama.cppQ5_K_M62.8 tok/s—1
Qwen3-8BStrataIQ2_M136.7 tok/s—1
Qwen3-4BvLLMFP1648.5 tok/s—1
Qwen3-4BvLLMQ6_K73 tok/s—1
Qwen3-4BStrataFP1665.2 tok/s—1
Qwen3-1.7Bllama.cppIQ3_XS176.9 tok/s—1
Qwen3-1.7Bllama.cppQ3_K_S168.4 tok/s—1
Qwen3-1.7BvLLMQ2_K177.8 tok/s—1
Qwen3-1.7BvLLMQ3_K_S168.6 tok/s—1
Qwen3-4B-Thinking-2507vLLMIQ3_S112.3 tok/s—1
Qwen3-4B-Thinking-2507StrataIQ2_M171.6 tok/s—1
Qwen3-4B-Thinking-2507StrataQ4_K_S119.2 tok/s—1
Qwen3-Coder-Nextllama.cppQ5_K_M54.5 tok/s—1
Qwen3-Coder-NextvLLMQ3_K_S89.6 tok/s—1
Qwen2.5-0.5B-InstructvLLMQ3_K_L248.2 tok/s—1
Qwen2.5-0.5B-InstructOllamaQ5_K_S165.8 tok/s—1
Qwen2.5-0.5B-InstructOllamaQ8_0140.5 tok/s—1
Qwen2.5-Omni-3BvLLMIQ1_S161.8 tok/s—1
Qwen2.5-Omni-3BOllamaIQ2_XS130.3 tok/s—1
Qwen2.5-Omni-3BOllamaQ3_K_L100.8 tok/s—1
Qwen3-Embedding-0.6BvLLMQ5_K_M162.8 tok/s—1
Qwen3-Embedding-0.6BOllamaQ5_K_M141.8 tok/s—1
gemma-4-E2B-itvLLMQ4_K_M128.4 tok/s—1
gemma-4-E2B-itOllamaIQ2_XS158 tok/s—1
gemma-4-E2B-itOllamaQ3_K_S140 tok/s—1
gemma-4-E4B-itvLLMFP1645.6 tok/s—1
gemma-4-E4B-itvLLMIQ3_S120.9 tok/s—1
gemma-4-E4B-itOllamaQ3_K_S106.1 tok/s—1