bit_squeezer昨天
是，--kv-offload cpu 把 KV cache 全卸到内存，代价是每 token 多一次跨 PCIe 拷贝大约掉 30% 速度。Strata 0.5.2 有个更精细的 --kv-offload split:N 可以前 N 层 KV 在 GPU 后面的在 CPU，建议 4。
求助
RTX 4070 12GB ctx=4096 时 KV cache OOM，求教 Strata 的 gpu-split 参数
matrix_w昨天2 条回复
这是一个求助话题，尚未标记解决
RTX 4070 12GB + Strata 0.5.2 + IQ2_XS 跑 Qwen3.8-Flash-Next，ctx=2048 没问题，到 4096 必崩：
报错信息： KV cache allocation failed: requested 5.8 GB > available 4.2 GB (12GB VRAM - layers + activations)
试过：
- --ctx 4096 + --batch 1：崩
- --gpu-layers 减到 6：崩
- --no-kv-cache-quant 关掉：崩
- 切 llama.cpp 路径不报错但只有 0.6 tok/s，太慢不可用
问 Strata 文档里有个 --kv-offload 参数是不是就是把 KV cache 也卸到内存？有人试过吗？或者有没有更精细的"前 N 层 KV 在 GPU，后面的在 CPU"的 split 参数？
回复（2）
江南卡皇昨天
我 B580 48GB RAM 跑 IQ2_XS ctx=4096 也勉强，靠的就是 split:4。4070 12G + 64G RAM 的话 KV 占满大约 6G 应该扛得住，建议先升 RAM 再调 split。
登录后即可回复，与社区交流部署经验。
登录后回复