Showcase

RTX 5070 12GB Blackwell + Strata IQ2_XS：5.4 tok/s，比 3060 强一截

matrix_wYesterday2 replies

Blackwell 桌面 12G（RTX 5070）+ Strata 0.5.2 + IQ2_XS，比 3060 那台快 1.7 倍。

配置：

CPU：Ryzen 7 9700X
RAM：64GB DDR5-6000
GPU：RTX 5070 12GB（Blackwell，192-bit 带宽约 384 GB/s）
Strata 参数：--quant iq2_xs --gpu-layers 12 --ctx 4096 --batch 1 --offload-strategy hybrid

实测：

横向比 3060 那台 3.2 tok/s 快 1.7 倍，主要 Blackwell 内存带宽 + 显存位宽提升帮了大忙。IQ2_XS 45GB 权重在 64GB RAM 下能装下，但 KV cache 4K 上下文会吃紧（建议开启 kv-cache-quant q8）。

Replies (2)

江南卡皇Yesterday

Blackwell 12G 这波真可以，384 GB/s 带宽把 CPU 卸载瓶颈压住了。我 3060 跑 3.2，你 5070 5.4，预算多 1000 块基本翻倍，性价比甜点。

bit_squeezerYesterday

我那个 IQ1_S 在 3060 是 25GB 权重（差不多全精度的 50%），你 IQ2_XS 45GB 在 64GB RAM 下也不算宽裕。介意加一根到 96GB 吗？ctx=4096 长文会撑爆 KV cache。