社区

提问、分享实测成果、交流部署经验——分享内容不代表本站已验证。

发起讨论

共 1 个话题

晒成果已收录

RTX 3080 10G 跑 27B 模型?Ternary Bonsai 2 三进制 PTQ1_0 只要 7G 显存

给老卡党们汇报一个邪道玩法:Ternary Bonsai 2 27B 是个三进制(ternary)模型,权重只有 {-1, 0, +1},配合 PTQ1_0 打包,整模 7.03G 显存,我的老 3080 10G 全 offload 还剩

江南卡皇2026-09-272 条回复

共 1 条