Help
RTX 3060 12GB 跑 Llama-3.2-3B = 195 tok/s——2020 年的卡还能战几年?
我有 2020 款 RTX 3060 12GB,看到 10-18 文章跑 Llama-3.2-3B Q4KM 是 195.22 tok/s。3B 模型在这个速度下够用吗? 场景: 本地跑 3B 做代码补全(VSCode + Continue
2026-10-18
2
Ask questions, share benchmark results, and swap deployment notes. Community posts are not verified by this site.
我有 2020 款 RTX 3060 12GB,看到 10-18 文章跑 Llama-3.2-3B Q4KM 是 195.22 tok/s。3B 模型在这个速度下够用吗? 场景: 本地跑 3B 做代码补全(VSCode + Continue
1 items