Arao AI

NVIDIA Jetson AGX Orin 64GB

其他

79

运行记录

19

覆盖模型

4

覆盖框架

L2 跨框架验证 × 79

证据分布

典型性能表现

同硬件上各模型 × 框架 × 量化的已上架实测均值。

  1. llama.cpp · IQ2_M Decode 96.05 · Prefill 357.59 ·
  2. Ollama · Q3_K_M Decode 81.64 · Prefill 331.85 ·
  3. Ollama · Q3_K_S Decode 55.39 · Prefill 272.09 ·
  4. Strata · Q4_K_M Decode 72.01 · Prefill 281.13 ·
  5. vLLM · Q5_K_S Decode 40.63 · Prefill 212.02 ·
  6. Ollama · IQ3_XS Decode 49.58 · Prefill 216.09 ·
  7. llama.cpp · IQ2_M Decode 177.54 · Prefill 614.93 ·
  8. llama.cpp · IQ2_XS Decode 200.96 · Prefill 773.99 ·
  9. Ollama · IQ3_S Decode 138.5 · Prefill 456.82 ·
  10. Ollama · Q5_K_S Decode 116.4 · Prefill 439.62 ·
  11. vLLM · FP16 Decode 29.45 · Prefill 126.06 ·
  12. vLLM · Q5_K_M Decode 44.26 · Prefill 164.08 ·
  13. Strata · IQ2_M Decode 107.61 · Prefill 409.38 ·
  14. llama.cpp · IQ1_S Decode 80.69 · Prefill 386.89 ·
  15. llama.cpp · IQ2_XS Decode 81.76 · Prefill 342.2 ·
  16. Ollama · FP16 Decode 24.64 · Prefill 90.65 ·
  17. Ollama · Q3_K_L Decode 56.02 · Prefill 230.05 ·
  18. llama.cpp · IQ2_M Decode 92.76 · Prefill 306.43 ·
  19. vLLM · IQ2_M Decode 96.3 · Prefill 512.46 ·
  20. vLLM · Q2_K Decode 95.78 · Prefill 454.64 ·
  21. vLLM · FP16 Decode 57.65 · Prefill 238.63 ·
  22. vLLM · IQ3_XS Decode 131.36 · Prefill 565.49 ·
  23. Strata · IQ2_M Decode 189.25 · Prefill 901.13 ·
  24. Strata · Q3_K_M Decode 175.11 · Prefill 755.7 ·
  25. vLLM · Q3_K_S Decode 89.8 · Prefill 485.57 ·
  26. vLLM · Q5_K_S Decode 57.15 · Prefill 278.01 ·
  27. Ollama · Q2_K Decode 77.04 · Prefill 283.31 ·
  28. llama.cpp · Q4_K_S Decode 56.6 · Prefill 223.69 ·
  29. Ollama · Q3_K_M Decode 54.87 · Prefill 250.05 ·
  30. llama.cpp · IQ1_S Decode 243.52 · Prefill 900.17 ·
  31. llama.cpp · Q3_K_S Decode 199.9 · Prefill 998.9 ·
  32. Strata · IQ3_XS Decode 310.9 · Prefill 1483.77 ·
  33. vLLM · IQ1_S Decode 135.17 · Prefill 565.39 ·
  34. vLLM · Q2_K Decode 118.95 · Prefill 465.31 ·
  35. Strata · Q3_K_S Decode 147.6 · Prefill 732.7 ·
  36. llama.cpp · IQ1_S Decode 232.92 · Prefill 851.04 ·
  37. llama.cpp · Q5_K_S Decode 140.38 · Prefill 456.07 ·
  38. Ollama · Q5_K_S Decode 120.47 · Prefill 591.73 ·
  39. Ollama · Q6_K Decode 70.66 · Prefill 305.15 ·
  40. Strata · IQ2_M Decode 176.21 · Prefill 663.99 ·
  41. Strata · IQ3_S Decode 167.92 · Prefill 544.11 ·
  42. vLLM · IQ3_S Decode 89.49 · Prefill 443.95 ·
  43. vLLM · Q8_0 Decode 46.76 · Prefill 225.72 ·
  44. Ollama · IQ2_M Decode 83.45 · Prefill 389.24 ·
  45. Ollama · IQ3_S Decode 81.99 · Prefill 290.18 ·
  46. llama.cpp · IQ3_S Decode 86 · Prefill 348.05 ·
  47. llama.cpp · Q3_K_M Decode 81.53 · Prefill 347.31 ·
  48. Strata · Q3_K_S Decode 126.8 · Prefill 658.95 ·
  49. Strata · Q5_K_S Decode 96.92 · Prefill 440.11 ·
  50. llama.cpp · IQ2_XS Decode 71.62 · Prefill 230.5 ·

核心规格

厂商
NVIDIA
显存
64 GB

运行记录

共 50 组配置

模型框架量化Decode生成耗时样本数
Qwen3.5-4Bllama.cppIQ2_M96 tok/s—1
Qwen3.5-4BOllamaQ3_K_M81.6 tok/s—1
Qwen3.5-9BOllamaQ3_K_S55.4 tok/s—1
Qwen3.5-9BStrataQ4_K_M72 tok/s—1
Qwen3.5-27BvLLMQ5_K_S40.6 tok/s—1
Qwen3.5-27BOllamaIQ3_XS49.6 tok/s—1
Qwen3.5-0.8Bllama.cppIQ2_M177.5 tok/s—1
Qwen3.5-0.8Bllama.cppIQ2_XS201 tok/s—1
Qwen3.5-0.8BOllamaIQ3_S138.5 tok/s—1
Qwen3.5-0.8BOllamaQ5_K_S116.4 tok/s—1
Qwen3.8-9BvLLMFP1629.4 tok/s—1
Qwen3.8-9BvLLMQ5_K_M44.3 tok/s—1
Qwen3.8-9BStrataIQ2_M107.6 tok/s—1
Qwen3-8Bllama.cppIQ1_S80.7 tok/s—1
Qwen3-8Bllama.cppIQ2_XS81.8 tok/s—1
Qwen3-8BOllamaFP1624.6 tok/s—1
Qwen3-8BOllamaQ3_K_L56 tok/s—1
Qwen3-4Bllama.cppIQ2_M92.8 tok/s—1
Qwen3-4BvLLMIQ2_M96.3 tok/s—1
Qwen3-4BvLLMQ2_K95.8 tok/s—1
Qwen3-1.7BvLLMFP1657.6 tok/s—1
Qwen3-1.7BvLLMIQ3_XS131.4 tok/s—1
Qwen3-1.7BStrataIQ2_M189.3 tok/s—1
Qwen3-1.7BStrataQ3_K_M175.1 tok/s—1
Qwen3-4B-Thinking-2507vLLMQ3_K_S89.8 tok/s—1
Qwen3-4B-Thinking-2507vLLMQ5_K_S57.1 tok/s—1
Qwen3-4B-Thinking-2507OllamaQ2_K77 tok/s—1
Qwen3-Coder-Nextllama.cppQ4_K_S56.6 tok/s—1
Qwen3-Coder-NextOllamaQ3_K_M54.9 tok/s—1
Qwen2.5-0.5B-Instructllama.cppIQ1_S243.5 tok/s—1
Qwen2.5-0.5B-Instructllama.cppQ3_K_S199.9 tok/s—1
Qwen2.5-0.5B-InstructStrataIQ3_XS310.9 tok/s—1
Qwen2.5-Omni-3BvLLMIQ1_S135.2 tok/s—1
Qwen2.5-Omni-3BvLLMQ2_K119 tok/s—1
Qwen2.5-Omni-3BStrataQ3_K_S147.6 tok/s—1
Qwen3-Embedding-0.6Bllama.cppIQ1_S232.9 tok/s—1
Qwen3-Embedding-0.6Bllama.cppQ5_K_S140.4 tok/s—1
Qwen3-Embedding-0.6BOllamaQ5_K_S120.5 tok/s—1
gemma-4-E2B-itOllamaQ6_K70.7 tok/s—1
gemma-4-E2B-itStrataIQ2_M176.2 tok/s—1
gemma-4-E2B-itStrataIQ3_S167.9 tok/s—1
gemma-4-E4B-itvLLMIQ3_S89.5 tok/s—1
gemma-4-E4B-itvLLMQ8_046.8 tok/s—1
gemma-4-E4B-itOllamaIQ2_M83.5 tok/s—1
gemma-4-E4B-itOllamaIQ3_S82 tok/s—1
Qwen3.5-4Bllama.cppIQ3_S86 tok/s—1
Qwen3.5-4Bllama.cppQ3_K_M81.5 tok/s—1
Qwen3.5-4BStrataQ3_K_S126.8 tok/s—1
Qwen3.5-4BStrataQ5_K_S96.9 tok/s—1
Qwen3.5-9Bllama.cppIQ2_XS71.6 tok/s—1