Arao AI

Apple M1 Pro

其他

41

运行记录

15

覆盖模型

4

覆盖框架

L2 跨框架验证 × 41

证据分布

典型性能表现

同硬件上各模型 × 框架 × 量化的已上架实测均值。

  1. vLLM · Q3_K_L Decode 104.97 · Prefill 349.69 ·
  2. Strata · IQ3_S Decode 156.63 · Prefill 693.97 ·
  3. llama.cpp · IQ3_XS Decode 75.72 · Prefill 277.89 ·
  4. vLLM · IQ2_M Decode 84.15 · Prefill 281.3 ·
  5. vLLM · Q3_K_S Decode 79.35 · Prefill 395.79 ·
  6. Ollama · IQ2_M Decode 70.64 · Prefill 337.05 ·
  7. vLLM · FP16 Decode 88.25 · Prefill 446.82 ·
  8. vLLM · IQ3_XS Decode 221.94 · Prefill 834.89 ·
  9. Strata · IQ4_XS Decode 263.91 · Prefill 1056.07 ·
  10. Strata · Q6_K Decode 165.63 · Prefill 531.23 ·
  11. vLLM · Q2_K Decode 84.42 · Prefill 354.52 ·
  12. Ollama · IQ2_XS Decode 84.92 · Prefill 307.29 ·
  13. Ollama · Q3_K_S Decode 67.09 · Prefill 242.11 ·
  14. llama.cpp · FP16 Decode 33.62 · Prefill 122.03 ·
  15. llama.cpp · Q5_K_M Decode 60.3 · Prefill 277.54 ·
  16. Strata · Q5_K_M Decode 74.46 · Prefill 397.25 ·
  17. Ollama · IQ3_XS Decode 98.64 · Prefill 472.33 ·
  18. Strata · FP16 Decode 58.73 · Prefill 267.72 ·
  19. vLLM · IQ4_XS Decode 145.02 · Prefill 507.76 ·
  20. Ollama · IQ3_S Decode 144.32 · Prefill 772.26 ·
  21. vLLM · IQ3_S Decode 94.49 · Prefill 403.53 ·
  22. Strata · IQ1_S Decode 163.46 · Prefill 649.89 ·
  23. Strata · Q2_K Decode 151.41 · Prefill 638.55 ·
  24. vLLM · Q6_K Decode 50.29 · Prefill 161.05 ·
  25. Ollama · Q3_K_S Decode 67.45 · Prefill 358.75 ·
  26. llama.cpp · Q4_K_M Decode 190.83 · Prefill 796.91 ·
  27. vLLM · Q4_K_M Decode 203.19 · Prefill 994.69 ·
  28. vLLM · Q5_K_M Decode 93.64 · Prefill 442.19 ·
  29. vLLM · Q5_K_S Decode 89.03 · Prefill 302.53 ·
  30. Ollama · IQ1_S Decode 134.09 · Prefill 528.37 ·
  31. Ollama · Q2_K Decode 116.73 · Prefill 402.44 ·
  32. vLLM · Q5_K_M Decode 164.4 · Prefill 839.01 ·
  33. Ollama · IQ1_S Decode 247.65 · Prefill 966.62 ·
  34. Ollama · Q4_K_S Decode 189.92 · Prefill 934.37 ·
  35. llama.cpp · Q3_K_M Decode 141.09 · Prefill 627.28 ·
  36. llama.cpp · Q6_K Decode 93.78 · Prefill 304.74 ·
  37. Ollama · Q3_K_L Decode 126.39 · Prefill 536.59 ·
  38. Ollama · Q5_K_M Decode 87.78 · Prefill 394.72 ·
  39. vLLM · Q2_K Decode 122.43 · Prefill 598.25 ·
  40. vLLM · Q3_K_M Decode 98.62 · Prefill 525.36 ·
  41. Ollama · Q4_K_S Decode 77.92 · Prefill 280.34 ·

核心规格

厂商
Apple
显存带宽
200 GB/s

运行记录

共 41 组配置

模型框架量化Decode生成耗时样本数
Qwen3.5-4BvLLMQ3_K_L105 tok/s—1
Qwen3.5-4BStrataIQ3_S156.6 tok/s—1
Qwen3.5-9Bllama.cppIQ3_XS75.7 tok/s—1
Qwen3.5-9BvLLMIQ2_M84.2 tok/s—1
Qwen3.5-9BvLLMQ3_K_S79.3 tok/s—1
Qwen3.5-27BOllamaIQ2_M70.6 tok/s—1
Qwen3.5-0.8BvLLMFP1688.3 tok/s—1
Qwen3.5-0.8BvLLMIQ3_XS221.9 tok/s—1
Qwen3.5-0.8BStrataIQ4_XS263.9 tok/s—1
Qwen3.5-0.8BStrataQ6_K165.6 tok/s—1
Qwen3.8-9BvLLMQ2_K84.4 tok/s—1
Qwen3.8-9BOllamaIQ2_XS84.9 tok/s—1
Qwen3.8-9BOllamaQ3_K_S67.1 tok/s—1
Qwen3-8Bllama.cppFP1633.6 tok/s—1
Qwen3-8Bllama.cppQ5_K_M60.3 tok/s—1
Qwen3-8BStrataQ5_K_M74.5 tok/s—1
Qwen3-4BOllamaIQ3_XS98.6 tok/s—1
Qwen3-4BStrataFP1658.7 tok/s—1
Qwen3-1.7BvLLMIQ4_XS145 tok/s—1
Qwen3-1.7BOllamaIQ3_S144.3 tok/s—1
Qwen3-4B-Thinking-2507vLLMIQ3_S94.5 tok/s—1
Qwen3-4B-Thinking-2507StrataIQ1_S163.5 tok/s—1
Qwen3-4B-Thinking-2507StrataQ2_K151.4 tok/s—1
Qwen3-Coder-NextvLLMQ6_K50.3 tok/s—1
Qwen3-Coder-NextOllamaQ3_K_S67.5 tok/s—1
Qwen2.5-0.5B-Instructllama.cppQ4_K_M190.8 tok/s—1
Qwen2.5-0.5B-InstructvLLMQ4_K_M203.2 tok/s—1
Qwen2.5-Omni-3BvLLMQ5_K_M93.6 tok/s—1
Qwen2.5-Omni-3BvLLMQ5_K_S89 tok/s—1
Qwen2.5-Omni-3BOllamaIQ1_S134.1 tok/s—1
Qwen2.5-Omni-3BOllamaQ2_K116.7 tok/s—1
Qwen3-Embedding-0.6BvLLMQ5_K_M164.4 tok/s—1
Qwen3-Embedding-0.6BOllamaIQ1_S247.7 tok/s—1
Qwen3-Embedding-0.6BOllamaQ4_K_S189.9 tok/s—1
gemma-4-E2B-itllama.cppQ3_K_M141.1 tok/s—1
gemma-4-E2B-itllama.cppQ6_K93.8 tok/s—1
gemma-4-E2B-itOllamaQ3_K_L126.4 tok/s—1
gemma-4-E2B-itOllamaQ5_K_M87.8 tok/s—1
gemma-4-E4B-itvLLMQ2_K122.4 tok/s—1
gemma-4-E4B-itvLLMQ3_K_M98.6 tok/s—1
gemma-4-E4B-itOllamaQ4_K_S77.9 tok/s—1