江南卡皇昨天
Blackwell 12G 这波真可以，384 GB/s 带宽把 CPU 卸载瓶颈压住了。我 3060 跑 3.2，你 5070 5.4，预算多 1000 块基本翻倍，性价比甜点。
晒成果
RTX 5070 12GB Blackwell + Strata IQ2_XS：5.4 tok/s，比 3060 强一截
matrix_w昨天2 条回复
Blackwell 桌面 12G（RTX 5070）+ Strata 0.5.2 + IQ2_XS，比 3060 那台快 1.7 倍。
配置：
- CPU：Ryzen 7 9700X
- RAM：64GB DDR5-6000
- GPU：RTX 5070 12GB（Blackwell，192-bit 带宽约 384 GB/s）
- Strata 参数：--quant iq2_xs --gpu-layers 12 --ctx 4096 --batch 1 --offload-strategy hybrid
实测：
- prefill：约 480 tok/s
- decode：5.4 tok/s
- TTFT：约 1.2 秒
横向比 3060 那台 3.2 tok/s 快 1.7 倍，主要 Blackwell 内存带宽 + 显存位宽提升帮了大忙。IQ2_XS 45GB 权重在 64GB RAM 下能装下，但 KV cache 4K 上下文会吃紧（建议开启 kv-cache-quant q8）。
回复（2）
bit_squeezer昨天
我那个 IQ1_S 在 3060 是 25GB 权重（差不多全精度的 50%），你 IQ2_XS 45GB 在 64GB RAM 下也不算宽裕。介意加一根到 96GB 吗？ctx=4096 长文会撑爆 KV cache。
登录后即可回复，与社区交流部署经验。
登录后回复