2x AMD Radeon RX 7900 XTX
GPU16
运行记录
1
覆盖模型
4
覆盖框架
L2 跨框架验证 × 16
证据分布
典型性能表现
同硬件上各模型 × 框架 × 量化的已上架实测均值。
- llama.cpp · IQ4_XS Decode 108 · Prefill 939 ·
- llama.cpp · Q4_K_M Decode 98 · Prefill 892 ·
- llama.cpp · Q5_K_M Decode 80 · Prefill 948 ·
- llama.cpp · Q8_0 Decode 66 · Prefill 724 ·
- vLLM · IQ4_XS Decode 82 · Prefill 946 ·
- vLLM · Q4_K_M Decode 73 · Prefill 855 ·
- vLLM · Q5_K_M Decode 75 · Prefill 843 ·
- vLLM · Q8_0 Decode 59 · Prefill 489 ·
- Ollama · IQ4_XS Decode 94 · Prefill 1095 ·
- Ollama · Q4_K_M Decode 87 · Prefill 997 ·
- Ollama · Q5_K_M Decode 89 · Prefill 724 ·
- Ollama · Q8_0 Decode 59 · Prefill 668 ·
- Strata · IQ4_XS Decode 152 · Prefill 1362 ·
- Strata · Q4_K_M Decode 139 · Prefill 1188 ·
- Strata · Q5_K_M Decode 121 · Prefill 1339 ·
- Strata · Q8_0 Decode 87 · Prefill 1027 ·
Fit 判定
按显存与内存带宽做物理估算:选择模型,查看各量化能否装下及预计速度
估算公式:tok/s =(带宽 ÷ 模型占用)× 0.55,借鉴 llmfit;实测以运行记录为准
核心规格
- 厂商
- AMD
- 显存
- 48 GB
- 显存带宽
- 1920 GB/s
运行记录
共 16 组配置
| 模型 | 框架 | 量化 | Decode | 生成耗时 | 样本数 |
|---|---|---|---|---|---|
| Qwen3.5-27B | llama.cpp | IQ4_XS | 108 tok/s | — | 1 |
| Qwen3.5-27B | llama.cpp | Q4_K_M | 98 tok/s | — | 1 |
| Qwen3.5-27B | llama.cpp | Q5_K_M | 80 tok/s | — | 1 |
| Qwen3.5-27B | llama.cpp | Q8_0 | 66 tok/s | — | 1 |
| Qwen3.5-27B | vLLM | IQ4_XS | 82 tok/s | — | 1 |
| Qwen3.5-27B | vLLM | Q4_K_M | 73 tok/s | — | 1 |
| Qwen3.5-27B | vLLM | Q5_K_M | 75 tok/s | — | 1 |
| Qwen3.5-27B | vLLM | Q8_0 | 59 tok/s | — | 1 |
| Qwen3.5-27B | Ollama | IQ4_XS | 94 tok/s | — | 1 |
| Qwen3.5-27B | Ollama | Q4_K_M | 87 tok/s | — | 1 |
| Qwen3.5-27B | Ollama | Q5_K_M | 89 tok/s | — | 1 |
| Qwen3.5-27B | Ollama | Q8_0 | 59 tok/s | — | 1 |
| Qwen3.5-27B | Strata | IQ4_XS | 152 tok/s | — | 1 |
| Qwen3.5-27B | Strata | Q4_K_M | 139 tok/s | — | 1 |
| Qwen3.5-27B | Strata | Q5_K_M | 121 tok/s | — | 1 |
| Qwen3.5-27B | Strata | Q8_0 | 87 tok/s | — | 1 |