求助
RTX 3060 12GB 跑 Llama-3.2-3B = 195 tok/s——2020 年的卡还能战几年?
我有 2020 款 RTX 3060 12GB,看到 10-18 文章跑 Llama-3.2-3B Q4KM 是 195.22 tok/s。3B 模型在这个速度下够用吗? 场景: 本地跑 3B 做代码补全(VSCode + Continue
2026-10-18
2
提问、分享实测成果、交流部署经验——分享内容不代表本站已验证。
我有 2020 款 RTX 3060 12GB,看到 10-18 文章跑 Llama-3.2-3B Q4KM 是 195.22 tok/s。3B 模型在这个速度下够用吗? 场景: 本地跑 3B 做代码补全(VSCode + Continue
共 1 条