Qualcomm Snapdragon X Elite
其他37
运行记录
14
覆盖模型
4
覆盖框架
L1 已复现 × 1 · L2 跨框架验证 × 36
证据分布
典型性能表现
同硬件上各模型 × 框架 × 量化的已上架实测均值。
- llama.cpp · Q2_K Decode 83.91 · Prefill 412.44 ·
- vLLM · FP16 Decode 32.76 · Prefill 107.43 ·
- Strata · Q4_K_S Decode 59.96 · Prefill 299.18 ·
- llama.cpp · Q4_K_M Decode 112.42 · Prefill 515.25 ·
- Ollama · IQ4_XS Decode 117.58 · Prefill 399 ·
- Ollama · Q8_0 Decode 69.82 · Prefill 301.4 ·
- llama.cpp · Q3_K_L Decode 50.63 · Prefill 217.32 ·
- vLLM · Q3_K_L Decode 51.08 · Prefill 205.33 ·
- vLLM · Q2_K Decode 69.03 · Prefill 343.27 ·
- vLLM · Q3_K_S Decode 55.63 · Prefill 229.65 ·
- Strata · IQ2_M Decode 86.12 · Prefill 422.03 ·
- Strata · Q3_K_M Decode 73.79 · Prefill 405.35 ·
- vLLM · IQ4_XS Decode 66.12 · Prefill 360.69 ·
- vLLM · Q3_K_M Decode 74.16 · Prefill 385.13 ·
- Strata · FP16 Decode 39.4 · Prefill 159.35 ·
- vLLM · IQ4_XS Decode 100.93 · Prefill 494.53 ·
- Ollama · Q3_K_M Decode 88.26 · Prefill 401.25 ·
- llama.cpp · Q2_K Decode 81.63 · Prefill 398.71 ·
- Strata · Q8_0 Decode 48.7 · Prefill 212.72 ·
- llama.cpp · Q3_K_L Decode 48.96 · Prefill 229.97 ·
- Ollama · IQ2_M Decode 54.16 · Prefill 255.41 ·
- Ollama · IQ4_XS Decode 131.69 · Prefill 717.01 ·
- Strata · FP16 Decode 96.34 · Prefill 381.84 ·
- vLLM · IQ2_XS Decode 103.58 · Prefill 468.29 ·
- vLLM · Q5_K_S Decode 65.67 · Prefill 300.03 ·
- Ollama · Q2_K Decode 89.58 · Prefill 387.16 ·
- Ollama · Q3_K_S Decode 76.04 · Prefill 366.79 ·
- vLLM · Q4_K_S Decode 152.62 · Prefill 807.12 ·
- Strata · Q6_K Decode 148.28 · Prefill 791.63 ·
- Ollama · Q4_K_M Decode 76.52 · Prefill 395.44 ·
- Strata · Q2_K Decode 154.6 · Prefill 695.42 ·
- Strata · Q3_K_L Decode 121.82 · Prefill 519.2 ·
- vLLM · Q3_K_L Decode 70.71 · Prefill 337.65 ·
- vLLM · Q4_K_M Decode 62.62 · Prefill 304.49 ·
- Ollama · Q3_K_L Decode 58.9 · Prefill 275.23 ·
- Ollama · Q8_0 Decode 35.6 · Prefill 173.17 ·
- llama.cpp · Q8_0 Decode 18.5 · Prefill 2.2 ·
Fit 判定
按显存与内存带宽做物理估算:选择模型,查看各量化能否装下及预计速度
该硬件未收录显存数据,无法判定 Fit
估算公式:tok/s =(带宽 ÷ 模型占用)× 0.55,借鉴 llmfit;实测以运行记录为准
核心规格
- 厂商
- Qualcomm
- 显存带宽
- 136 GB/s
运行记录
共 37 组配置
| 模型 | 框架 | 量化 | Decode | 生成耗时 | 样本数 |
|---|---|---|---|---|---|
| Qwen3.5-4B | llama.cpp | Q2_K | 83.9 tok/s | — | 1 |
| Qwen3.5-4B | vLLM | FP16 | 32.8 tok/s | — | 1 |
| Qwen3.5-9B | Strata | Q4_K_S | 60 tok/s | — | 1 |
| Qwen3.5-0.8B | llama.cpp | Q4_K_M | 112.4 tok/s | — | 1 |
| Qwen3.5-0.8B | Ollama | IQ4_XS | 117.6 tok/s | — | 1 |
| Qwen3.5-0.8B | Ollama | Q8_0 | 69.8 tok/s | — | 1 |
| Qwen3.8-9B | llama.cpp | Q3_K_L | 50.6 tok/s | — | 1 |
| Qwen3.8-9B | vLLM | Q3_K_L | 51.1 tok/s | — | 1 |
| Qwen3-8B | vLLM | Q2_K | 69 tok/s | — | 1 |
| Qwen3-8B | vLLM | Q3_K_S | 55.6 tok/s | — | 1 |
| Qwen3-8B | Strata | IQ2_M | 86.1 tok/s | — | 1 |
| Qwen3-8B | Strata | Q3_K_M | 73.8 tok/s | — | 1 |
| Qwen3-4B | vLLM | IQ4_XS | 66.1 tok/s | — | 1 |
| Qwen3-4B | vLLM | Q3_K_M | 74.2 tok/s | — | 1 |
| Qwen3-4B | Strata | FP16 | 39.4 tok/s | — | 1 |
| Qwen3-1.7B | vLLM | IQ4_XS | 100.9 tok/s | — | 1 |
| Qwen3-1.7B | Ollama | Q3_K_M | 88.3 tok/s | — | 1 |
| Qwen3-4B-Thinking-2507 | llama.cpp | Q2_K | 81.6 tok/s | — | 1 |
| Qwen3-4B-Thinking-2507 | Strata | Q8_0 | 48.7 tok/s | — | 1 |
| Qwen3-Coder-Next | llama.cpp | Q3_K_L | 49 tok/s | — | 1 |
| Qwen3-Coder-Next | Ollama | IQ2_M | 54.2 tok/s | — | 1 |
| Qwen2.5-0.5B-Instruct | Ollama | IQ4_XS | 131.7 tok/s | — | 1 |
| Qwen2.5-0.5B-Instruct | Strata | FP16 | 96.3 tok/s | — | 1 |
| Qwen2.5-Omni-3B | vLLM | IQ2_XS | 103.6 tok/s | — | 1 |
| Qwen2.5-Omni-3B | vLLM | Q5_K_S | 65.7 tok/s | — | 1 |
| Qwen2.5-Omni-3B | Ollama | Q2_K | 89.6 tok/s | — | 1 |
| Qwen2.5-Omni-3B | Ollama | Q3_K_S | 76 tok/s | — | 1 |
| Qwen3-Embedding-0.6B | vLLM | Q4_K_S | 152.6 tok/s | — | 1 |
| Qwen3-Embedding-0.6B | Strata | Q6_K | 148.3 tok/s | — | 1 |
| gemma-4-E2B-it | Ollama | Q4_K_M | 76.5 tok/s | — | 1 |
| gemma-4-E2B-it | Strata | Q2_K | 154.6 tok/s | — | 1 |
| gemma-4-E2B-it | Strata | Q3_K_L | 121.8 tok/s | — | 1 |
| gemma-4-E4B-it | vLLM | Q3_K_L | 70.7 tok/s | — | 1 |
| gemma-4-E4B-it | vLLM | Q4_K_M | 62.6 tok/s | — | 1 |
| gemma-4-E4B-it | Ollama | Q3_K_L | 58.9 tok/s | — | 1 |
| gemma-4-E4B-it | Ollama | Q8_0 | 35.6 tok/s | — | 1 |
| Qwen3-4B-Thinking-2507 | llama.cpp | Q8_0 | 18.5 tok/s | — | 1 |