Help

RTX 4070 12GB ctx=4096 时 KV cache OOM,求教 Strata 的 gpu-split 参数

matrix_wYesterday2 replies

This help request is not marked solved yet

RTX 4070 12GB + Strata 0.5.2 + IQ2_XS 跑 Qwen3.8-Flash-Next,ctx=2048 没问题,到 4096 必崩:

报错信息: KV cache allocation failed: requested 5.8 GB > available 4.2 GB (12GB VRAM - layers + activations)

试过:

  • --ctx 4096 + --batch 1:崩
  • --gpu-layers 减到 6:崩
  • --no-kv-cache-quant 关掉:崩
  • 切 llama.cpp 路径不报错但只有 0.6 tok/s,太慢不可用

问 Strata 文档里有个 --kv-offload 参数是不是就是把 KV cache 也卸到内存?有人试过吗?或者有没有更精细的"前 N 层 KV 在 GPU,后面的在 CPU"的 split 参数?

Replies (2)

bit_squeezerYesterday

是,--kv-offload cpu 把 KV cache 全卸到内存,代价是每 token 多一次跨 PCIe 拷贝大约掉 30% 速度。Strata 0.5.2 有个更精细的 --kv-offload split:N 可以前 N 层 KV 在 GPU 后面的在 CPU,建议 4。

江南卡皇Yesterday

我 B580 48GB RAM 跑 IQ2_XS ctx=4096 也勉强,靠的就是 split:4。4070 12G + 64G RAM 的话 KV 占满大约 6G 应该扛得住,建议先升 RAM 再调 split。

Sign in to reply and join the discussion.

Sign in to reply