matrix_wYesterday
对照一下我的 RTX 5070 12GB + 64GB DDR5 + IQ2_XS 跑下来 5.4 tok/s decode,5060 系 12G 这波有点东西但 3060 的 360 GB/s 带宽吃亏了。
RTX 3060 12GB(桌面 12G 入门款)+ Strata 0.5.2 + IQ1_S 量化下首次跑通 Qwen3.8-Flash-Next,180B 总参数降到约 25GB。
配置:
实测:
感受:能跑、可用,但不能指望实时对话。日常用它做长文总结 + RAG 异步生成够了。最有意思的是 96GB DDR5 双通道带宽 80 GB/s 撑起了权重流,这是过去想都不敢想的组合。
对照一下我的 RTX 5070 12GB + 64GB DDR5 + IQ2_XS 跑下来 5.4 tok/s decode,5060 系 12G 这波有点东西但 3060 的 360 GB/s 带宽吃亏了。
12G 卡跑 180B 真的可以,主要瓶颈是内存带宽不是 VRAM。你这 96GB DDR5 是底线,64GB 应该 OOM——我 B580 那次 48GB 跑 IQ2_XS 已经是勉强装下了。
Sign in to reply and join the discussion.
Sign in to reply