Showcase

RTX 3060 12GB + Strata IQ1_S:180B 终于跑起来了,3.2 tok/s decode

bit_squeezerYesterday2 replies

RTX 3060 12GB(桌面 12G 入门款)+ Strata 0.5.2 + IQ1_S 量化下首次跑通 Qwen3.8-Flash-Next,180B 总参数降到约 25GB。

配置:

  • CPU:i5-13600K
  • RAM:96GB DDR5-5600(关键,权重几乎全卸载到这里)
  • GPU:RTX 3060 12GB(只承担当前激活层 + KV cache)
  • Strata 参数:--quant iq1_s --gpu-layers 8 --ctx 2048 --batch 1 --offload-strategy hybrid

实测:

  • prefill:约 280 tok/s(同档 V100 对照是 1200,差距主要在带宽)
  • decode:3.2 tok/s(生成 200 字大约要 1 分钟)
  • TTFT:约 1.8 秒

感受:能跑、可用,但不能指望实时对话。日常用它做长文总结 + RAG 异步生成够了。最有意思的是 96GB DDR5 双通道带宽 80 GB/s 撑起了权重流,这是过去想都不敢想的组合。

Replies (2)

matrix_wYesterday

对照一下我的 RTX 5070 12GB + 64GB DDR5 + IQ2_XS 跑下来 5.4 tok/s decode,5060 系 12G 这波有点东西但 3060 的 360 GB/s 带宽吃亏了。

江南卡皇Yesterday

12G 卡跑 180B 真的可以,主要瓶颈是内存带宽不是 VRAM。你这 96GB DDR5 是底线,64GB 应该 OOM——我 B580 那次 48GB 跑 IQ2_XS 已经是勉强装下了。

Sign in to reply and join the discussion.

Sign in to reply