AMD Radeon RX 7800 XT
GPURDNA 3 架构(Navi 32),16GB GDDR6 / 256-bit 位宽,显存带宽 624 GB/s,整卡功耗 263W。
21
运行记录
13
覆盖模型
4
覆盖框架
L2 跨框架验证 × 21
证据分布
典型性能表现
同硬件上各模型 × 框架 × 量化的已上架实测均值。
- Strata · Q3_K_M Decode 162.86 · Prefill 683.59 ·
- Strata · Q6_K Decode 116.42 · Prefill 376.03 ·
- llama.cpp · IQ3_XS Decode 90.06 · Prefill 377.76 ·
- Ollama · Q4_K_S Decode 72.3 · Prefill 388.61 ·
- Ollama · Q3_K_M Decode 208.49 · Prefill 843.34 ·
- Ollama · Q3_K_M Decode 81.38 · Prefill 413.01 ·
- Strata · Q3_K_L Decode 116.61 · Prefill 394.73 ·
- llama.cpp · Q2_K Decode 105.63 · Prefill 545.14 ·
- Ollama · IQ3_XS Decode 100 · Prefill 339.13 ·
- Strata · Q5_K_M Decode 113.72 · Prefill 542.93 ·
- Strata · IQ3_XS Decode 256.05 · Prefill 1389.06 ·
- Strata · Q3_K_L Decode 238.01 · Prefill 1294.15 ·
- Strata · Q3_K_S Decode 167.4 · Prefill 757.67 ·
- Strata · Q5_K_M Decode 122.13 · Prefill 641.14 ·
- llama.cpp · IQ2_M Decode 335.13 · Prefill 1766.15 ·
- vLLM · Q8_0 Decode 79.88 · Prefill 429.8 ·
- vLLM · IQ3_S Decode 270.28 · Prefill 1137.75 ·
- Strata · Q3_K_L Decode 363.34 · Prefill 1209.51 ·
- Strata · Q5_K_S Decode 288.93 · Prefill 1097.54 ·
- vLLM · IQ1_S Decode 105.74 · Prefill 495.52 ·
- Strata · IQ1_S Decode 124.64 · Prefill 585.66 ·
Fit 判定
按显存与内存带宽做物理估算:选择模型,查看各量化能否装下及预计速度
估算公式:tok/s =(带宽 ÷ 模型占用)× 0.55,借鉴 llmfit;实测以运行记录为准
核心规格
- 厂商
- AMD
- 架构
- RDNA 3
- 显存
- 16 GB
- 显存带宽
- 624 GB/s
- TDP 功耗
- 263 W
- 发布日期
- 2023-09-06
运行记录
共 21 组配置
| 模型 | 框架 | 量化 | Decode | 生成耗时 | 样本数 |
|---|---|---|---|---|---|
| Qwen3.5-4B | Strata | Q3_K_M | 162.9 tok/s | — | 1 |
| Qwen3.5-4B | Strata | Q6_K | 116.4 tok/s | — | 1 |
| Qwen3.5-9B | llama.cpp | IQ3_XS | 90.1 tok/s | — | 1 |
| Qwen3.5-9B | Ollama | Q4_K_S | 72.3 tok/s | — | 1 |
| Qwen3.5-0.8B | Ollama | Q3_K_M | 208.5 tok/s | — | 1 |
| Qwen3.8-9B | Ollama | Q3_K_M | 81.4 tok/s | — | 1 |
| Qwen3.8-9B | Strata | Q3_K_L | 116.6 tok/s | — | 1 |
| Qwen3-8B | llama.cpp | Q2_K | 105.6 tok/s | — | 1 |
| Qwen3-8B | Ollama | IQ3_XS | 100 tok/s | — | 1 |
| Qwen3-4B | Strata | Q5_K_M | 113.7 tok/s | — | 1 |
| Qwen3-1.7B | Strata | IQ3_XS | 256.1 tok/s | — | 1 |
| Qwen3-1.7B | Strata | Q3_K_L | 238 tok/s | — | 1 |
| Qwen3-4B-Thinking-2507 | Strata | Q3_K_S | 167.4 tok/s | — | 1 |
| Qwen3-4B-Thinking-2507 | Strata | Q5_K_M | 122.1 tok/s | — | 1 |
| Qwen2.5-0.5B-Instruct | llama.cpp | IQ2_M | 335.1 tok/s | — | 1 |
| Qwen2.5-Omni-3B | vLLM | Q8_0 | 79.9 tok/s | — | 1 |
| Qwen3-Embedding-0.6B | vLLM | IQ3_S | 270.3 tok/s | — | 1 |
| Qwen3-Embedding-0.6B | Strata | Q3_K_L | 363.3 tok/s | — | 1 |
| Qwen3-Embedding-0.6B | Strata | Q5_K_S | 288.9 tok/s | — | 1 |
| gemma-4-12B-it | vLLM | IQ1_S | 105.7 tok/s | — | 1 |
| DeepSeek-R1-Distill-Qwen-14B | Strata | IQ1_S | 124.6 tok/s | — | 1 |