NVIDIA RTX 5070

GPU

Blackwell 架构(GB205),12GB GDDR7 / 192-bit 位宽,显存带宽 672 GB/s,整卡功耗 250W。带宽比 RTX 4070 提升约三分之一,但 12GB 容量限制了可跑的模型尺寸。

110

运行记录

24

覆盖模型

5

覆盖框架

L0 自报 × 58 · L1 已复现 × 1 · L2 跨框架验证 × 51

证据分布

典型性能表现

同硬件上各模型 × 框架 × 量化的已上架实测均值。

  1. Ollama · Q3_K_S Decode 115.6 · Prefill 548.24 ·
  2. Ollama · Q5_K_S Decode 83.31 · Prefill 418.84 ·
  3. llama.cpp · Q4_K_M Decode 186.5 · Prefill 627.46 ·
  4. Ollama · FP16 Decode 84.08 · Prefill 290.65 ·
  5. Ollama · IQ1_S Decode 239.86 · Prefill 1174.67 ·
  6. vLLM · IQ1_S Decode 119.3 · Prefill 428.02 ·
  7. Strata · IQ1_S Decode 153.3 · Prefill 756.44 ·
  8. Strata · IQ2_XS Decode 135.12 · Prefill 577.01 ·
  9. llama.cpp · IQ1_S Decode 116.33 · Prefill 578.18 ·
  10. llama.cpp · Q3_K_M Decode 92.37 · Prefill 403.56 ·
  11. vLLM · IQ1_S Decode 135.82 · Prefill 714.11 ·
  12. vLLM · Q2_K Decode 123.84 · Prefill 585.88 ·
  13. llama.cpp · IQ4_XS Decode 238.16 · Prefill 793.59 ·
  14. llama.cpp · Q5_K_S Decode 193.78 · Prefill 821.91 ·
  15. Ollama · FP16 Decode 100.33 · Prefill 407.38 ·
  16. Ollama · Q3_K_L Decode 203.4 · Prefill 838.81 ·
  17. vLLM · Q3_K_L Decode 76.49 · Prefill 291.62 ·
  18. Strata · Q5_K_M Decode 76.48 · Prefill 397.87 ·
  19. vLLM · Q3_K_M Decode 112.72 · Prefill 436.5 ·
  20. vLLM · Q4_K_M Decode 84.51 · Prefill 408.98 ·
  21. Strata · IQ3_S Decode 154.26 · Prefill 563.04 ·
  22. vLLM · IQ3_XS Decode 223.3 · Prefill 1047.53 ·
  23. vLLM · IQ4_XS Decode 188.25 · Prefill 873.82 ·
  24. Ollama · Q3_K_S Decode 197.53 · Prefill 685.98 ·
  25. Ollama · Q5_K_S Decode 124.72 · Prefill 677.51 ·
  26. Strata · IQ4_XS Decode 233.02 · Prefill 915.89 ·
  27. Strata · Q6_K Decode 189.01 · Prefill 746.35 ·
  28. Ollama · IQ1_S Decode 93.91 · Prefill 396.52 ·
  29. llama.cpp · IQ2_XS Decode 93.24 · Prefill 441.9 ·
  30. llama.cpp · Q3_K_S Decode 83.47 · Prefill 327.27 ·
  31. Strata · IQ3_XS Decode 128.34 · Prefill 480.77 ·
  32. vLLM · IQ2_M Decode 185.93 · Prefill 658.25 ·
  33. Ollama · Q3_K_L Decode 127.9 · Prefill 682.85 ·
  34. Ollama · Q5_K_M Decode 93.03 · Prefill 365.14 ·
  35. Strata · Q3_K_L Decode 187.58 · Prefill 667.52 ·
  36. llama.cpp · IQ4_XS Decode 54 · Prefill 640 ·
  37. llama.cpp · Q4_K_M Decode 50 · Prefill 586 ·
  38. llama.cpp · Q5_K_M Decode 52 · Prefill 454 ·
  39. llama.cpp · Q8_0 Decode 36 · Prefill 394 ·
  40. vLLM · IQ4_XS Decode 51 · Prefill 486 ·
  41. vLLM · Q4_K_M Decode 47 · Prefill 429 ·
  42. vLLM · Q5_K_M Decode 42 · Prefill 447 ·
  43. vLLM · Q8_0 Decode 28 · Prefill 334 ·
  44. Ollama · IQ4_XS Decode 55 · Prefill 549 ·
  45. Ollama · Q4_K_M Decode 50 · Prefill 516 ·
  46. Ollama · Q5_K_M Decode 42 · Prefill 504 ·
  47. Ollama · Q8_0 Decode 36 · Prefill 356 ·
  48. Strata · IQ4_XS Decode 70 · Prefill 837 ·
  49. Strata · Q4_K_M Decode 64 · Prefill 768 ·
  50. Strata · Q5_K_M Decode 72 · Prefill 739 ·

Fit 判定

按显存与内存带宽做物理估算:选择模型,查看各量化能否装下及预计速度

估算公式:tok/s =(带宽 ÷ 模型占用)× 0.55,借鉴 llmfit;实测以运行记录为准

核心规格

厂商
NVIDIA
架构
Blackwell
显存
12 GB
显存带宽
672 GB/s
TDP 功耗
250 W
发布日期
2025-03-05

运行记录

共 50 组配置

模型框架量化Decode生成耗时样本数
Qwen3.5-4BOllamaQ3_K_S115.6 tok/s—1
Qwen3.5-4BOllamaQ5_K_S83.3 tok/s—1
Qwen3.5-0.8Bllama.cppQ4_K_M186.5 tok/s—1
Qwen3.5-0.8BOllamaFP1684.1 tok/s—1
Qwen3.5-0.8BOllamaIQ1_S239.9 tok/s—1
Qwen3.8-9BvLLMIQ1_S119.3 tok/s—1
Qwen3.8-9BStrataIQ1_S153.3 tok/s—1
Qwen3.8-9BStrataIQ2_XS135.1 tok/s—1
Qwen3-8Bllama.cppIQ1_S116.3 tok/s—1
Qwen3-8Bllama.cppQ3_K_M92.4 tok/s—1
Llama-3.1-8B-InstructvLLMIQ1_S135.8 tok/s—1
Llama-3-8B-InstructvLLMQ2_K123.8 tok/s—1
Llama-3.2-3B-Instructllama.cppIQ4_XS238.2 tok/s—1
Llama-3.2-3B-Instructllama.cppQ5_K_S193.8 tok/s—1
Llama-3.2-3B-InstructOllamaFP16100.3 tok/s—1
Llama-3.2-3B-InstructOllamaQ3_K_L203.4 tok/s—1
Kimi-K3vLLMQ3_K_L76.5 tok/s—1
Kimi-K3StrataQ5_K_M76.5 tok/s—1
Qwen3.5-4BvLLMQ3_K_M112.7 tok/s—1
Qwen3.5-4BvLLMQ4_K_M84.5 tok/s—1
Qwen3.5-4BStrataIQ3_S154.3 tok/s—1
Qwen3.5-0.8BvLLMIQ3_XS223.3 tok/s—1
Qwen3.5-0.8BvLLMIQ4_XS188.3 tok/s—1
Qwen3.5-0.8BOllamaQ3_K_S197.5 tok/s—1
Qwen3.5-0.8BOllamaQ5_K_S124.7 tok/s—1
Qwen3.5-0.8BStrataIQ4_XS233 tok/s—1
Qwen3.5-0.8BStrataQ6_K189 tok/s—1
Qwen3.8-9BOllamaIQ1_S93.9 tok/s—1
Qwen3-8Bllama.cppIQ2_XS93.2 tok/s—1
Qwen3-8Bllama.cppQ3_K_S83.5 tok/s—1
Qwen3-8BStrataIQ3_XS128.3 tok/s—1
Qwen3-1.7BvLLMIQ2_M185.9 tok/s—1
Qwen3-1.7BOllamaQ3_K_L127.9 tok/s—1
Qwen3-1.7BOllamaQ5_K_M93 tok/s—1
Qwen3-1.7BStrataQ3_K_L187.6 tok/s—1
Qwen3.5-27Bllama.cppIQ4_XS54 tok/s—1
Qwen3.5-27Bllama.cppQ4_K_M50 tok/s—1
Qwen3.5-27Bllama.cppQ5_K_M52 tok/s—1
Qwen3.5-27Bllama.cppQ8_036 tok/s—1
Qwen3.5-27BvLLMIQ4_XS51 tok/s—1
Qwen3.5-27BvLLMQ4_K_M47 tok/s—1
Qwen3.5-27BvLLMQ5_K_M42 tok/s—1
Qwen3.5-27BvLLMQ8_028 tok/s—1
Qwen3.5-27BOllamaIQ4_XS55 tok/s—1
Qwen3.5-27BOllamaQ4_K_M50 tok/s—1
Qwen3.5-27BOllamaQ5_K_M42 tok/s—1
Qwen3.5-27BOllamaQ8_036 tok/s—1
Qwen3.5-27BStrataIQ4_XS70 tok/s—1
Qwen3.5-27BStrataQ4_K_M64 tok/s—1
Qwen3.5-27BStrataQ5_K_M72 tok/s—1