AMD Radeon RX 7800 XT

GPU

RDNA 3 架构(Navi 32),16GB GDDR6 / 256-bit 位宽,显存带宽 624 GB/s,整卡功耗 263W。

21

运行记录

13

覆盖模型

4

覆盖框架

L2 跨框架验证 × 21

证据分布

典型性能表现

同硬件上各模型 × 框架 × 量化的已上架实测均值。

  1. Strata · Q3_K_M Decode 162.86 · Prefill 683.59 ·
  2. Strata · Q6_K Decode 116.42 · Prefill 376.03 ·
  3. llama.cpp · IQ3_XS Decode 90.06 · Prefill 377.76 ·
  4. Ollama · Q4_K_S Decode 72.3 · Prefill 388.61 ·
  5. Ollama · Q3_K_M Decode 208.49 · Prefill 843.34 ·
  6. Ollama · Q3_K_M Decode 81.38 · Prefill 413.01 ·
  7. Strata · Q3_K_L Decode 116.61 · Prefill 394.73 ·
  8. llama.cpp · Q2_K Decode 105.63 · Prefill 545.14 ·
  9. Ollama · IQ3_XS Decode 100 · Prefill 339.13 ·
  10. Strata · Q5_K_M Decode 113.72 · Prefill 542.93 ·
  11. Strata · IQ3_XS Decode 256.05 · Prefill 1389.06 ·
  12. Strata · Q3_K_L Decode 238.01 · Prefill 1294.15 ·
  13. Strata · Q3_K_S Decode 167.4 · Prefill 757.67 ·
  14. Strata · Q5_K_M Decode 122.13 · Prefill 641.14 ·
  15. llama.cpp · IQ2_M Decode 335.13 · Prefill 1766.15 ·
  16. vLLM · Q8_0 Decode 79.88 · Prefill 429.8 ·
  17. vLLM · IQ3_S Decode 270.28 · Prefill 1137.75 ·
  18. Strata · Q3_K_L Decode 363.34 · Prefill 1209.51 ·
  19. Strata · Q5_K_S Decode 288.93 · Prefill 1097.54 ·
  20. vLLM · IQ1_S Decode 105.74 · Prefill 495.52 ·
  21. Strata · IQ1_S Decode 124.64 · Prefill 585.66 ·

Fit 判定

按显存与内存带宽做物理估算:选择模型,查看各量化能否装下及预计速度

估算公式:tok/s =(带宽 ÷ 模型占用)× 0.55,借鉴 llmfit;实测以运行记录为准

核心规格

厂商
AMD
架构
RDNA 3
显存
16 GB
显存带宽
624 GB/s
TDP 功耗
263 W
发布日期
2023-09-06

运行记录

共 21 组配置

模型框架量化Decode生成耗时样本数
Qwen3.5-4BStrataQ3_K_M162.9 tok/s—1
Qwen3.5-4BStrataQ6_K116.4 tok/s—1
Qwen3.5-9Bllama.cppIQ3_XS90.1 tok/s—1
Qwen3.5-9BOllamaQ4_K_S72.3 tok/s—1
Qwen3.5-0.8BOllamaQ3_K_M208.5 tok/s—1
Qwen3.8-9BOllamaQ3_K_M81.4 tok/s—1
Qwen3.8-9BStrataQ3_K_L116.6 tok/s—1
Qwen3-8Bllama.cppQ2_K105.6 tok/s—1
Qwen3-8BOllamaIQ3_XS100 tok/s—1
Qwen3-4BStrataQ5_K_M113.7 tok/s—1
Qwen3-1.7BStrataIQ3_XS256.1 tok/s—1
Qwen3-1.7BStrataQ3_K_L238 tok/s—1
Qwen3-4B-Thinking-2507StrataQ3_K_S167.4 tok/s—1
Qwen3-4B-Thinking-2507StrataQ5_K_M122.1 tok/s—1
Qwen2.5-0.5B-Instructllama.cppIQ2_M335.1 tok/s—1
Qwen2.5-Omni-3BvLLMQ8_079.9 tok/s—1
Qwen3-Embedding-0.6BvLLMIQ3_S270.3 tok/s—1
Qwen3-Embedding-0.6BStrataQ3_K_L363.3 tok/s—1
Qwen3-Embedding-0.6BStrataQ5_K_S288.9 tok/s—1
gemma-4-12B-itvLLMIQ1_S105.7 tok/s—1
DeepSeek-R1-Distill-Qwen-14BStrataIQ1_S124.6 tok/s—1