建议记录页增加"分层卸载比例 / 卸载策略"字段
现有 benchmarkrecord 里 vramgb 字段对 12G 跑 180B 这种场景描述不准—— 我的 RTX 3060 12GB 跑 Qwen3.8-Flash-Next(180B),实际是「GPU 用 6GB 装 8 层 +
提问、分享实测成果、交流部署经验——分享内容不代表本站已验证。
现有 benchmarkrecord 里 vramgb 字段对 12G 跑 180B 这种场景描述不准—— 我的 RTX 3060 12GB 跑 Qwen3.8-Flash-Next(180B),实际是「GPU 用 6GB 装 8 层 +
总结下 12G 显存跑 Qwen3.8-Flash-Next 的完整流程,给想上车的朋友。 一、硬件选型(按预算排序) 入门:RTX 3060 12GB + 96GB DDR5(≥5600)。带宽 360 GB/s,IQ1S 跑 3 tok
RTX 4070 12GB + Strata 0.5.2 + IQ2_XS 跑 Qwen3.8-Flash-Next,ctx=2048 没问题,到 4096 必崩: 报错信息: KV cache allocation failed: req
Intel Arc B580 12GB + Strata 0.4.2(Vulkan 后端,因为 CUDA 不支持 Arc)。第一次让 180B 在 Intel 显卡上跑通。 配置: CPU:i5-14400 RAM:48GB DDR5-56
Blackwell 桌面 12G(RTX 5070)+ Strata 0.5.2 + IQ2XS,比 3060 那台快 1.7 倍。 配置: CPU:Ryzen 7 9700X RAM:64GB DDR5-6000 GPU:RTX 5070
RTX 3060 12GB(桌面 12G 入门款)+ Strata 0.5.2 + IQ1S 量化下首次跑通 Qwen3.8-Flash-Next,180B 总参数降到约 25GB。 配置: CPU:i5-13600K RAM:96GB D
共 6 条