12G 显存跑 180B 全流程：卡选 → 量化 → Strata 调参

总结下 12G 显存跑 Qwen3.8-Flash-Next 的完整流程，给想上车的朋友。

一、硬件选型（按预算排序）

• 入门：RTX 3060 12GB + 96GB DDR5（≥5600）。带宽 360 GB/s，IQ1_S 跑 3 tok/s。
• 性价比：RTX 4070 / RTX 5070 12GB + 64GB DDR5。带宽 ~400 GB/s，IQ2_XS 跑 4-6 tok/s。
• 极致：RTX 3080 Ti 12GB（GDDR6X 带宽高）二手 + 64GB DDR5。
• Intel 用户：Arc B580 12GB + ≥48GB DDR5。Vulkan 路径，1-2 tok/s 能跑就行。

二、量化优先级

• IQ1_S：~25GB 权重，需 64GB RAM 装下 + KV cache 紧张
• IQ2_XS：~45GB 权重，需 ≥64GB RAM
• Q2_K：~60GB 权重，需要 ≥96GB RAM 才稳
• 不推荐：Q3_K 起步（~75GB）RAM 装不下，性价比差

三、Strata 关键参数

--quant <i>
--gpu-layers N（N=6~12，按 VRAM 调）
--ctx 2048（4096 要加 --kv-offload split:4）
--batch 1（>1 直接 OOM）
--offload-strategy hybrid（默认）
--kv-cache-quant q8（省一半 KV 内存）

四、速度预期

• prefill 100-500 tok/s
• decode 2-6 tok/s
• TTFT 1-5 秒

12G 跑 180B 不能跟云端 API 比速度，但 0 元月费 + 全本地 + 数据不出门是真实价值。