NVIDIA RTX 3060 12GB

GPU

Ampere 架构(GA106),12GB GDDR6 / 192-bit 位宽,显存带宽 360 GB/s,整卡功耗 170W。与 8GB 版本区分,本地推理以 12GB 版为主流。

83

运行记录

21

覆盖模型

4

覆盖框架

L0 自报 × 13 · L1 已复现 × 1 · L2 跨框架验证 × 69

证据分布

典型性能表现

同硬件上各模型 × 框架 × 量化的已上架实测均值。

  1. vLLM · IQ3_XS Decode 89.05 · Prefill 461.73 ·
  2. Ollama · Q3_K_S Decode 79.42 · Prefill 278.2 ·
  3. Ollama · IQ2_M Decode 182.69 · Prefill 954.31 ·
  4. Strata · Q4_K_S Decode 203.46 · Prefill 1004.82 ·
  5. vLLM · Q2_K Decode 70.07 · Prefill 259.24 ·
  6. Ollama · IQ1_S Decode 110.04 · Prefill 354.52 ·
  7. Strata · Q3_K_M Decode 112.29 · Prefill 547.52 ·
  8. llama.cpp · FP16 Decode 72.92 · Prefill 274.88 ·
  9. llama.cpp · Q5_K_S Decode 132.45 · Prefill 600.24 ·
  10. Ollama · Q3_K_S Decode 138.92 · Prefill 607.45 ·
  11. Ollama · Q2_K Decode 64.94 · Prefill 300.22 ·
  12. vLLM · Q3_K_S Decode 73.32 · Prefill 238.24 ·
  13. Ollama · IQ3_S Decode 58.42 · Prefill 197.59 ·
  14. Strata · IQ1_S Decode 99.13 · Prefill 497.2 ·
  15. llama.cpp · IQ3_S Decode 72.47 · Prefill 300.81 ·
  16. vLLM · IQ2_XS Decode 94.63 · Prefill 430.36 ·
  17. Strata · Q3_K_M Decode 95.19 · Prefill 317.89 ·
  18. vLLM · Q4_K_S Decode 182.86 · Prefill 651.97 ·
  19. vLLM · Q5_K_S Decode 145.02 · Prefill 478.55 ·
  20. Strata · Q6_K Decode 168.05 · Prefill 844.89 ·
  21. Ollama · IQ2_M Decode 91.19 · Prefill 447.34 ·
  22. Ollama · Q4_K_M Decode 66.59 · Prefill 338.55 ·
  23. Ollama · FP16 Decode 65.06 · Prefill 244.73 ·
  24. Ollama · Q2_K Decode 166.72 · Prefill 642.75 ·
  25. Strata · FP16 Decode 103.42 · Prefill 466.54 ·
  26. vLLM · IQ3_XS Decode 64.02 · Prefill 298.14 ·
  27. llama.cpp · IQ2_M Decode 70.85 · Prefill 298.67 ·
  28. vLLM · IQ3_S Decode 64 · Prefill 232.21 ·
  29. vLLM · IQ2_M Decode 92.78 · Prefill 311.99 ·
  30. Strata · IQ1_S Decode 126.53 · Prefill 600.27 ·
  31. Strata · Q3_K_S Decode 98.81 · Prefill 492.63 ·
  32. llama.cpp · IQ3_S Decode 193.44 · Prefill 733.2 ·
  33. llama.cpp · Q5_K_S Decode 126.84 · Prefill 630.8 ·
  34. vLLM · Q5_K_M Decode 143.38 · Prefill 521.02 ·
  35. llama.cpp · Q3_K_L Decode 55.93 · Prefill 219.18 ·
  36. llama.cpp · Q3_K_M Decode 58.85 · Prefill 193.51 ·
  37. vLLM · IQ4_XS Decode 53.14 · Prefill 228.98 ·
  38. llama.cpp · IQ3_S Decode 105.18 · Prefill 415.05 ·
  39. Ollama · IQ3_S Decode 95.65 · Prefill 519.99 ·
  40. Ollama · Q3_K_M Decode 97.19 · Prefill 407.59 ·
  41. Strata · Q5_K_S Decode 113.91 · Prefill 618.95 ·
  42. Strata · Q6_K Decode 100.84 · Prefill 413.9 ·
  43. llama.cpp · Q3_K_S Decode 187.82 · Prefill 792.93 ·
  44. Ollama · Q3_K_L Decode 167.74 · Prefill 790.34 ·
  45. Ollama · Q5_K_M Decode 118.62 · Prefill 422.11 ·
  46. Strata · Q3_K_M Decode 279.25 · Prefill 1294.74 ·
  47. Strata · Q5_K_S Decode 214.78 · Prefill 1075.84 ·
  48. Strata · Q2_K Decode 114.46 · Prefill 600.51 ·
  49. llama.cpp · IQ3_S Decode 81.43 · Prefill 366.11 ·
  50. llama.cpp · Q2_K Decode 169.7 · Prefill 583.54 ·

Fit 判定

按显存与内存带宽做物理估算:选择模型,查看各量化能否装下及预计速度

估算公式:tok/s =(带宽 ÷ 模型占用)× 0.55,借鉴 llmfit;实测以运行记录为准

核心规格

厂商
NVIDIA
架构
Ampere
显存
12 GB
显存带宽
360 GB/s
TDP 功耗
170 W
发布日期
2021-02-25

运行记录

共 50 组配置

模型框架量化Decode生成耗时样本数
gemma-4-E4B-itvLLMIQ3_XS89 tok/s—1
gemma-4-E4B-itOllamaQ3_K_S79.4 tok/s—1
iFlytek Spark-X2.5-4BOllamaIQ2_M182.7 tok/s—1
iFlytek Spark-X2.5-4BStrataQ4_K_S203.5 tok/s—1
elephant-1vLLMQ2_K70.1 tok/s—1
Qwen3.5-4BOllamaIQ1_S110 tok/s—1
Qwen3.5-4BStrataQ3_K_M112.3 tok/s—1
Qwen3.5-0.8Bllama.cppFP1672.9 tok/s—1
Qwen3.5-0.8Bllama.cppQ5_K_S132.4 tok/s—2
Qwen3.5-0.8BOllamaQ3_K_S138.9 tok/s—1
Qwen3.8-9BOllamaQ2_K64.9 tok/s—1
Qwen3-8BvLLMQ3_K_S73.3 tok/s—1
Qwen3-8BOllamaIQ3_S58.4 tok/s—1
gemma-4-12B-itStrataIQ1_S99.1 tok/s—1
Llama-3.1-8B-Instructllama.cppIQ3_S72.5 tok/s—1
Llama-3.1-8B-InstructvLLMIQ2_XS94.6 tok/s—1
Llama-3-8B-InstructStrataQ3_K_M95.2 tok/s—1
Llama-3.2-3B-InstructvLLMQ4_K_S182.9 tok/s—1
Llama-3.2-3B-InstructvLLMQ5_K_S145 tok/s—1
Llama-3.2-3B-InstructStrataQ6_K168.1 tok/s—1
Qwen3.5-4BOllamaIQ2_M91.2 tok/s—1
Qwen3.5-4BOllamaQ4_K_M66.6 tok/s—1
Qwen3.5-0.8BOllamaFP1665.1 tok/s—1
Qwen3.5-0.8BOllamaQ2_K166.7 tok/s—1
Qwen3.5-0.8BStrataFP16103.4 tok/s—1
Qwen3.8-9BvLLMIQ3_XS64 tok/s—1
Qwen3-8Bllama.cppIQ2_M70.8 tok/s—1
Qwen3-8BvLLMIQ3_S64 tok/s—1
Llama-3.1-8B-InstructvLLMIQ2_M92.8 tok/s—1
Llama-3-8B-InstructStrataIQ1_S126.5 tok/s—1
Llama-3-8B-InstructStrataQ3_K_S98.8 tok/s—1
Llama-3.2-3B-Instructllama.cppIQ3_S193.4 tok/s—1
Llama-3.2-3B-Instructllama.cppQ5_K_S126.8 tok/s—1
Llama-3.2-3B-InstructvLLMQ5_K_M143.4 tok/s—1
Kimi-K3llama.cppQ3_K_L55.9 tok/s—1
Kimi-K3llama.cppQ3_K_M58.9 tok/s—1
Kimi-K3vLLMIQ4_XS53.1 tok/s—1
Qwen3.5-4Bllama.cppIQ3_S105.2 tok/s—1
Qwen3.5-4BOllamaIQ3_S95.7 tok/s—1
Qwen3.5-4BOllamaQ3_K_M97.2 tok/s—1
Qwen3.5-4BStrataQ5_K_S113.9 tok/s—1
Qwen3.5-4BStrataQ6_K100.8 tok/s—1
Qwen3.5-0.8Bllama.cppQ3_K_S187.8 tok/s—1
Qwen3.5-0.8BOllamaQ3_K_L167.7 tok/s—1
Qwen3.5-0.8BOllamaQ5_K_M118.6 tok/s—1
Qwen3.5-0.8BStrataQ3_K_M279.3 tok/s—1
Qwen3.5-0.8BStrataQ5_K_S214.8 tok/s—1
Qwen3.8-9BStrataQ2_K114.5 tok/s—1
Qwen3-8Bllama.cppIQ3_S81.4 tok/s—1
Qwen3-1.7Bllama.cppQ2_K169.7 tok/s—1