晒成果已收录
RTX 3080 10G 跑 27B 模型？Ternary Bonsai 2 三进制 PTQ1_0 只要 7G 显存
给老卡党们汇报一个邪道玩法：Ternary Bonsai 2 27B 是个三进制（ternary）模型，权重只有 {-1, 0, +1}，配合 PTQ1_0 打包，整模 7.03G 显存，我的老 3080 10G 全 offload 还剩
江南卡皇7 天前2 条回复
江南卡皇
7 天前
2最近回复 7 天前
社区
提问、分享实测成果、交流部署经验——分享内容不代表本站已验证。
共 1 个话题
共 1 条