Arao AI

Qualcomm Snapdragon 7 Gen 4

其他

27

运行记录

11

覆盖模型

4

覆盖框架

L2 跨框架验证 × 27

证据分布

典型性能表现

同硬件上各模型 × 框架 × 量化的已上架实测均值。

  1. llama.cpp · Q4_K_M Decode 50.36 · Prefill 218.21 ·
  2. Ollama · IQ4_XS Decode 48.35 · Prefill 193.59 ·
  3. llama.cpp · Q4_K_M Decode 83.77 · Prefill 313.94 ·
  4. Ollama · IQ2_M Decode 122.21 · Prefill 586.2 ·
  5. Ollama · Q6_K Decode 67.49 · Prefill 328.96 ·
  6. Ollama · Q2_K Decode 58.83 · Prefill 269.66 ·
  7. Ollama · Q3_K_S Decode 51.27 · Prefill 253.88 ·
  8. llama.cpp · Q3_K_L Decode 72.64 · Prefill 300.08 ·
  9. vLLM · IQ3_XS Decode 85.76 · Prefill 337.65 ·
  10. vLLM · Q3_K_L Decode 76.96 · Prefill 347.46 ·
  11. llama.cpp · Q3_K_S Decode 53.5 · Prefill 273.17 ·
  12. llama.cpp · IQ1_S Decode 53.91 · Prefill 278.28 ·
  13. Ollama · IQ3_S Decode 37.55 · Prefill 185.53 ·
  14. Ollama · Q4_K_M Decode 32.69 · Prefill 144.19 ·
  15. vLLM · IQ3_XS Decode 150.77 · Prefill 624.32 ·
  16. Strata · Q6_K Decode 115.51 · Prefill 492.04 ·
  17. llama.cpp · Q3_K_M Decode 59.3 · Prefill 285.77 ·
  18. Strata · Q3_K_S Decode 97.85 · Prefill 474.54 ·
  19. Strata · Q5_K_M Decode 64.91 · Prefill 252.46 ·
  20. llama.cpp · IQ2_XS Decode 156.09 · Prefill 630.03 ·
  21. Strata · Q3_K_M Decode 155.2 · Prefill 688.84 ·
  22. Strata · Q5_K_S Decode 117.77 · Prefill 410.82 ·
  23. vLLM · Q3_K_M Decode 80.58 · Prefill 389.4 ·
  24. vLLM · Q8_0 Decode 46.45 · Prefill 213.34 ·
  25. Ollama · Q4_K_S Decode 62.77 · Prefill 308.77 ·
  26. llama.cpp · Q4_K_S Decode 45.34 · Prefill 207.38 ·
  27. Strata · IQ4_XS Decode 74.19 · Prefill 369.77 ·

核心规格

厂商
Qualcomm
显存带宽
51 GB/s

运行记录

共 27 组配置

模型框架量化Decode生成耗时样本数
Qwen3.5-4Bllama.cppQ4_K_M50.4 tok/s—1
Qwen3.5-4BOllamaIQ4_XS48.4 tok/s—1
Qwen3.5-0.8Bllama.cppQ4_K_M83.8 tok/s—1
Qwen3.5-0.8BOllamaIQ2_M122.2 tok/s—1
Qwen3.5-0.8BOllamaQ6_K67.5 tok/s—1
Qwen3-4BOllamaQ2_K58.8 tok/s—1
Qwen3-4BOllamaQ3_K_S51.3 tok/s—1
Qwen3-1.7Bllama.cppQ3_K_L72.6 tok/s—1
Qwen3-1.7BvLLMIQ3_XS85.8 tok/s—1
Qwen3-1.7BvLLMQ3_K_L77 tok/s—1
Qwen3-4B-Thinking-2507llama.cppQ3_K_S53.5 tok/s—1
Qwen3-Coder-Nextllama.cppIQ1_S53.9 tok/s—1
Qwen3-Coder-NextOllamaIQ3_S37.5 tok/s—1
Qwen3-Coder-NextOllamaQ4_K_M32.7 tok/s—1
Qwen2.5-0.5B-InstructvLLMIQ3_XS150.8 tok/s—1
Qwen2.5-0.5B-InstructStrataQ6_K115.5 tok/s—1
Qwen2.5-Omni-3Bllama.cppQ3_K_M59.3 tok/s—1
Qwen2.5-Omni-3BStrataQ3_K_S97.8 tok/s—1
Qwen2.5-Omni-3BStrataQ5_K_M64.9 tok/s—1
Qwen3-Embedding-0.6Bllama.cppIQ2_XS156.1 tok/s—1
Qwen3-Embedding-0.6BStrataQ3_K_M155.2 tok/s—1
Qwen3-Embedding-0.6BStrataQ5_K_S117.8 tok/s—1
gemma-4-E2B-itvLLMQ3_K_M80.6 tok/s—1
gemma-4-E2B-itvLLMQ8_046.5 tok/s—1
gemma-4-E2B-itOllamaQ4_K_S62.8 tok/s—1
gemma-4-E4B-itllama.cppQ4_K_S45.3 tok/s—1
gemma-4-E4B-itStrataIQ4_XS74.2 tok/s—1