Arao AI

Intel Arc 140V

GPU

41

运行记录

14

覆盖模型

4

覆盖框架

L2 跨框架验证 × 41

证据分布

典型性能表现

同硬件上各模型 × 框架 × 量化的已上架实测均值。

  1. llama.cpp · IQ2_M Decode 86.1 · Prefill 275.57 ·
  2. llama.cpp · Q4_K_S Decode 66.95 · Prefill 214.51 ·
  3. vLLM · Q5_K_S Decode 56.56 · Prefill 269.34 ·
  4. vLLM · Q3_K_L Decode 54.62 · Prefill 283.65 ·
  5. Ollama · IQ2_XS Decode 61.15 · Prefill 261.54 ·
  6. llama.cpp · IQ2_XS Decode 182.97 · Prefill 879.22 ·
  7. llama.cpp · Q5_K_S Decode 107.85 · Prefill 550.79 ·
  8. Strata · IQ2_M Decode 226.68 · Prefill 945.06 ·
  9. Strata · IQ4_XS Decode 175.73 · Prefill 704.21 ·
  10. Strata · Q4_K_S Decode 62.42 · Prefill 214.01 ·
  11. Ollama · Q4_K_M Decode 43.74 · Prefill 228.72 ·
  12. Ollama · Q4_K_S Decode 45.55 · Prefill 229.62 ·
  13. Strata · IQ3_XS Decode 87.91 · Prefill 405.6 ·
  14. vLLM · IQ3_S Decode 80.06 · Prefill 290.03 ·
  15. vLLM · Q8_0 Decode 42.86 · Prefill 150.62 ·
  16. Ollama · IQ1_S Decode 81.27 · Prefill 262.71 ·
  17. Ollama · Q4_K_M Decode 54.47 · Prefill 248.92 ·
  18. Ollama · IQ2_M Decode 112.05 · Prefill 542.45 ·
  19. Ollama · Q5_K_S Decode 71.63 · Prefill 287.36 ·
  20. Strata · Q4_K_S Decode 123.42 · Prefill 651.16 ·
  21. Strata · Q5_K_S Decode 111.13 · Prefill 553 ·
  22. vLLM · Q3_K_M Decode 77.55 · Prefill 286.29 ·
  23. Ollama · Q4_K_S Decode 56.88 · Prefill 225.68 ·
  24. vLLM · IQ4_XS Decode 47.85 · Prefill 251.28 ·
  25. Ollama · IQ4_XS Decode 45.29 · Prefill 217.37 ·
  26. Ollama · Q4_K_S Decode 43.87 · Prefill 209.43 ·
  27. Ollama · IQ1_S Decode 197.42 · Prefill 954.57 ·
  28. Ollama · Q3_K_L Decode 140.91 · Prefill 564.18 ·
  29. Strata · Q2_K Decode 267.39 · Prefill 900.92 ·
  30. Strata · Q6_K Decode 163.25 · Prefill 570.35 ·
  31. Ollama · Q3_K_M Decode 80.3 · Prefill 259.75 ·
  32. Ollama · Q6_K Decode 49.41 · Prefill 234.65 ·
  33. Strata · Q5_K_S Decode 92.36 · Prefill 496.83 ·
  34. vLLM · IQ2_M Decode 187.46 · Prefill 728.79 ·
  35. vLLM · IQ3_S Decode 169.96 · Prefill 565.7 ·
  36. Ollama · IQ3_S Decode 157.23 · Prefill 521.64 ·
  37. llama.cpp · Q4_K_M Decode 78.89 · Prefill 345.96 ·
  38. llama.cpp · Q8_0 Decode 53.13 · Prefill 172.01 ·
  39. vLLM · Q4_K_M Decode 93.69 · Prefill 438.33 ·
  40. Ollama · Q4_K_M Decode 56.25 · Prefill 293.11 ·
  41. Strata · Q8_0 Decode 61.68 · Prefill 298.98 ·

核心规格

厂商
Intel
显存带宽
153 GB/s

运行记录

共 41 组配置

模型框架量化Decode生成耗时样本数
Qwen3.5-4Bllama.cppIQ2_M86.1 tok/s—1
Qwen3.5-4Bllama.cppQ4_K_S67 tok/s—1
Qwen3.5-4BvLLMQ5_K_S56.6 tok/s—1
Qwen3.5-9BvLLMQ3_K_L54.6 tok/s—1
Qwen3.5-9BOllamaIQ2_XS61.1 tok/s—1
Qwen3.5-0.8Bllama.cppIQ2_XS183 tok/s—1
Qwen3.5-0.8Bllama.cppQ5_K_S107.8 tok/s—1
Qwen3.5-0.8BStrataIQ2_M226.7 tok/s—1
Qwen3.5-0.8BStrataIQ4_XS175.7 tok/s—1
Qwen3.8-9BStrataQ4_K_S62.4 tok/s—1
Qwen3-8BOllamaQ4_K_M43.7 tok/s—1
Qwen3-8BOllamaQ4_K_S45.5 tok/s—1
Qwen3-8BStrataIQ3_XS87.9 tok/s—1
Qwen3-4BvLLMIQ3_S80.1 tok/s—1
Qwen3-4BvLLMQ8_042.9 tok/s—1
Qwen3-4BOllamaIQ1_S81.3 tok/s—1
Qwen3-4BOllamaQ4_K_M54.5 tok/s—1
Qwen3-1.7BOllamaIQ2_M112 tok/s—1
Qwen3-1.7BOllamaQ5_K_S71.6 tok/s—1
Qwen3-1.7BStrataQ4_K_S123.4 tok/s—1
Qwen3-1.7BStrataQ5_K_S111.1 tok/s—1
Qwen3-4B-Thinking-2507vLLMQ3_K_M77.5 tok/s—1
Qwen3-4B-Thinking-2507OllamaQ4_K_S56.9 tok/s—1
Qwen3-Coder-NextvLLMIQ4_XS47.9 tok/s—1
Qwen3-Coder-NextOllamaIQ4_XS45.3 tok/s—1
Qwen3-Coder-NextOllamaQ4_K_S43.9 tok/s—1
Qwen2.5-0.5B-InstructOllamaIQ1_S197.4 tok/s—1
Qwen2.5-0.5B-InstructOllamaQ3_K_L140.9 tok/s—1
Qwen2.5-0.5B-InstructStrataQ2_K267.4 tok/s—1
Qwen2.5-0.5B-InstructStrataQ6_K163.3 tok/s—1
Qwen2.5-Omni-3BOllamaQ3_K_M80.3 tok/s—1
Qwen2.5-Omni-3BOllamaQ6_K49.4 tok/s—1
Qwen2.5-Omni-3BStrataQ5_K_S92.4 tok/s—1
Qwen3-Embedding-0.6BvLLMIQ2_M187.5 tok/s—1
Qwen3-Embedding-0.6BvLLMIQ3_S170 tok/s—1
Qwen3-Embedding-0.6BOllamaIQ3_S157.2 tok/s—1
gemma-4-E2B-itllama.cppQ4_K_M78.9 tok/s—1
gemma-4-E2B-itllama.cppQ8_053.1 tok/s—1
gemma-4-E2B-itvLLMQ4_K_M93.7 tok/s—1
gemma-4-E4B-itOllamaQ4_K_M56.3 tok/s—1
gemma-4-E4B-itStrataQ8_061.7 tok/s—1