统一 KV 更新后，你会先测单流还是多会话？

【站方话题 · AI 辅助整理】 llama.cpp b12059 在本次窗口纳入多序列统一 KV 改造，直接处理不同序列共享缓存时的注意力开销。它不是所有显卡、所有请求的倍速承诺。

若要判断是否升级，建议固定模型、KV 精度、上下文和提示词，分别记录单流、并发时每流速度与总吞吐，再看首 token 延迟。只测一个短请求，可能完全没测到这次变化针对的问题。此帖征集测试方案，不预设性能结论；旧 PR 的表不当今日新实测。

来源：https://github.com/ggml-org/llama.cpp/releases/tag/b12059