NVIDIA RTX 5070 Ti

GPU

Blackwell 架构(GB203),16GB GDDR7 / 256-bit 位宽,显存带宽 896 GB/s,整卡功耗 300W。与 RTX 5080 同用 GB203 芯片但核心数更少。

111

运行记录

25

覆盖模型

8

覆盖框架

L0 自报 × 86 · L2 跨框架验证 × 25

证据分布

典型性能表现

同硬件上各模型 × 框架 × 量化的已上架实测均值。

  1. llama.cpp · IQ1_S Decode 182.74 · Prefill 910.54 ·
  2. vLLM · IQ4_XS Decode 131.32 · Prefill 455.29 ·
  3. vLLM · Q4_K_M Decode 116.07 · Prefill 492.31 ·
  4. vLLM · FP16 Decode 121.99 · Prefill 561.36 ·
  5. vLLM · Q6_K Decode 174.9 · Prefill 685.31 ·
  6. Strata · Q5_K_M Decode 251.18 · Prefill 1222.13 ·
  7. Strata · Q6_K Decode 237.15 · Prefill 1031.12 ·
  8. vLLM · IQ3_S Decode 103.59 · Prefill 387.95 ·
  9. vLLM · Q3_K_M Decode 98.53 · Prefill 475.97 ·
  10. Ollama · IQ3_XS Decode 89.42 · Prefill 466.92 ·
  11. Ollama · Q2_K Decode 98.9 · Prefill 326.08 ·
  12. llama.cpp · Q3_K_M Decode 110.54 · Prefill 601.05 ·
  13. Ollama · Q4_K_S Decode 82.54 · Prefill 372.44 ·
  14. Ollama · IQ3_XS Decode 80.61 · Prefill 400.97 ·
  15. llama.cpp · Q4_K_S Decode 108.27 · Prefill 466.84 ·
  16. vLLM · IQ3_S Decode 128.33 · Prefill 495.87 ·
  17. vLLM · Q2_K Decode 134.24 · Prefill 721.19 ·
  18. vLLM · Q2_K Decode 145.89 · Prefill 573.9 ·
  19. Strata · IQ3_S Decode 180.15 · Prefill 920.56 ·
  20. Ollama · Q4_K_S Decode 228.86 · Prefill 764.69 ·
  21. Strata · Q4_K_M Decode 361.74 · Prefill 1475.89 ·
  22. vLLM · IQ1_S Decode 131.31 · Prefill 466.87 ·
  23. vLLM · IQ3_S Decode 95.38 · Prefill 330.41 ·
  24. Strata · IQ3_S Decode 132.6 · Prefill 715.44 ·
  25. Strata · Q3_K_S Decode 129.13 · Prefill 489.23 ·
  26. llama.cpp · Q6_K Decode 22.1 · Prefill 165.8 ·
  27. llama.cpp · Q5_K_S Decode 28.8 · Prefill 216 ·
  28. llama.cpp · IQ3_S Decode 47.9 · Prefill 359.3 ·
  29. llama.cpp · IQ4_XS Decode 36 · Prefill 270 ·
  30. SGLang · Q4_K_M Decode 3.8 · Prefill 28.5 ·
  31. SGLang · IQ3_S Decode 5.7 · Prefill 42.8 ·
  32. SGLang · IQ4_XS Decode 4.3 · Prefill 32.3 ·
  33. vLLM · Q4_K_M Decode 3.9 · Prefill 29.3 ·
  34. vLLM · IQ3_S Decode 5.9 · Prefill 44.3 ·
  35. vLLM · IQ4_XS Decode 4.4 · Prefill 33 ·
  36. vLLM · Q4_K_M Decode 4.4 · Prefill 33 ·
  37. vLLM · IQ3_S Decode 6.6 · Prefill 49.5 ·
  38. vLLM · IQ4_XS Decode 5 · Prefill 37.5 ·
  39. llama.cpp · Q4_K_M Decode 4.1 · Prefill 30.7 ·
  40. llama.cpp · IQ3_S Decode 6.1 · Prefill 45.8 ·
  41. llama.cpp · IQ4_XS Decode 4.6 · Prefill 34.5 ·
  42. Strata · Q4_K_M Decode 8.2 · Prefill 61.5 ·
  43. Strata · IQ3_XXS Decode 14.2 · Prefill 106.5 ·
  44. Strata · IQ3_S Decode 12.3 · Prefill 92.3 ·
  45. Strata · IQ4_XS Decode 9.2 · Prefill 69 ·
  46. llama.cpp · Q4_K_M Decode 6.4 · Prefill 48 ·
  47. llama.cpp · IQ3_XXS Decode 11.1 · Prefill 83.3 ·
  48. llama.cpp · IQ4_XS Decode 7.2 · Prefill 54 ·
  49. Strata · Q5_K_S Decode 49.2 · Prefill 369 ·
  50. Strata · IQ3_S Decode 82.2 · Prefill 616.5 ·

Fit 判定

按显存与内存带宽做物理估算:选择模型,查看各量化能否装下及预计速度

估算公式:tok/s =(带宽 ÷ 模型占用)× 0.55,借鉴 llmfit;实测以运行记录为准

核心规格

厂商
NVIDIA
架构
Blackwell
显存
16 GB
显存带宽
896 GB/s
TDP 功耗
300 W
发布日期
2025-02-20

运行记录

共 50 组配置

模型框架量化Decode生成耗时样本数
Qwen3.5-4Bllama.cppIQ1_S182.7 tok/s—1
Qwen3.5-4BvLLMIQ4_XS131.3 tok/s—1
Qwen3.5-4BvLLMQ4_K_M116.1 tok/s—1
Qwen3.5-0.8BvLLMFP16122 tok/s—1
Qwen3.5-0.8BvLLMQ6_K174.9 tok/s—1
Qwen3.5-0.8BStrataQ5_K_M251.2 tok/s—1
Qwen3.5-0.8BStrataQ6_K237.2 tok/s—1
Qwen3.8-9BvLLMIQ3_S103.6 tok/s—1
Qwen3.8-9BvLLMQ3_K_M98.5 tok/s—1
Qwen3.8-9BOllamaIQ3_XS89.4 tok/s—1
Qwen3.8-9BOllamaQ2_K98.9 tok/s—1
Qwen3-8Bllama.cppQ3_K_M110.5 tok/s—1
Qwen3-8BOllamaQ4_K_S82.5 tok/s—1
gemma-4-12B-itOllamaIQ3_XS80.6 tok/s—1
Llama-3.1-8B-Instructllama.cppQ4_K_S108.3 tok/s—1
Llama-3.1-8B-InstructvLLMIQ3_S128.3 tok/s—1
Llama-3.1-8B-InstructvLLMQ2_K134.2 tok/s—1
Llama-3-8B-InstructvLLMQ2_K145.9 tok/s—1
Llama-3-8B-InstructStrataIQ3_S180.2 tok/s—1
Llama-3.2-3B-InstructOllamaQ4_K_S228.9 tok/s—1
Llama-3.2-3B-InstructStrataQ4_K_M361.7 tok/s—1
Kimi-K3vLLMIQ1_S131.3 tok/s—1
Kimi-K3vLLMIQ3_S95.4 tok/s—1
Kimi-K3StrataIQ3_S132.6 tok/s—1
Kimi-K3StrataQ3_K_S129.1 tok/s—1
Qwen3.5-35B-A3Bllama.cppQ6_K22.1 tok/s—1
Qwen3.5-35B-A3Bllama.cppQ5_K_S28.8 tok/s—1
Qwen3.5-35B-A3Bllama.cppIQ3_S47.9 tok/s—1
Qwen3.5-35B-A3Bllama.cppIQ4_XS36 tok/s—1
GLM-5.3-FlashSGLangQ4_K_M3.8 tok/s—1
GLM-5.3-FlashSGLangIQ3_S5.7 tok/s—1
GLM-5.3-FlashSGLangIQ4_XS4.3 tok/s—1
GLM-5.3-FlashvLLMQ4_K_M3.9 tok/s—1
GLM-5.3-FlashvLLMIQ3_S5.9 tok/s—1
GLM-5.3-FlashvLLMIQ4_XS4.4 tok/s—1
DeepSeek-V4-FlashvLLMQ4_K_M4.4 tok/s—1
DeepSeek-V4-FlashvLLMIQ3_S6.6 tok/s—1
DeepSeek-V4-FlashvLLMIQ4_XS5 tok/s—1
DeepSeek-V4-Flashllama.cppQ4_K_M4.1 tok/s—1
DeepSeek-V4-Flashllama.cppIQ3_S6.1 tok/s—1
DeepSeek-V4-Flashllama.cppIQ4_XS4.6 tok/s—1
Qwen3.8-Flash-NextStrataQ4_K_M8.2 tok/s—1
Qwen3.8-Flash-NextStrataIQ3_XXS14.2 tok/s—1
Qwen3.8-Flash-NextStrataIQ3_S12.3 tok/s—1
Qwen3.8-Flash-NextStrataIQ4_XS9.2 tok/s—1
Qwen3.8-Flash-Nextllama.cppQ4_K_M6.4 tok/s—1
Qwen3.8-Flash-Nextllama.cppIQ3_XXS11.1 tok/s—1
Qwen3.8-Flash-Nextllama.cppIQ4_XS7.2 tok/s—1
Qwen3.8-27BStrataQ5_K_S49.2 tok/s—1
Qwen3.8-27BStrataIQ3_S82.2 tok/s—1