← 新闻
运行时

llama.cpp 修复 MoE 缓存预取次序:先检查结果正确,再比较速度

11月12日合并的#32100进入b12328,避免部分跨后端调度提前读到旧专家权重,并在设备不支持缓存算子时回退。修复针对特定路径,不是所有MoE模型的通用加速。

来源: llama.cpp GitHub PR / release

11月12日,llama.cpp 合并 PR #32100,并在当日发布的 b12328 中列出该修复。问题出在 MoE 缓存与跨后端调度的交界:下一段计算的输入可能在专家上传完成前被预取,随后使用旧的专家内容。这不是“速度看起来慢一点”,而是结果正确性需要先过关。

  1. 先分清触发条件。维护者说明,缓存设备不支持对应的 MUL_MAT_ID 算子时,调度器可能把矩阵运算安排到CPU,设备上的专家缓存便成为CPU计算段的输入。上传由复制回调完成,而原先预取发生得更早;提前读取就可能拿到尚未更新的内容。部分Vulkan路径是文中指出的场景,不等于所有Vulkan设备都受影响。

  2. 修复同时处理顺序与能力检查。新逻辑只预取计算缓冲区里的输入,即前序计算段产生的结果;建立缓存槽位时还检查设备能否执行缓存算子,不能就走不缓存路径,避免每个微批都把整块缓存搬往另一后端。不能把“不用这条缓存路径”误读成模型被裁剪或量化精度降低。

  3. 原文测试证明的边界要保留。PR提供了调度器回归测试与架构测试,也说明普通CUDA缓存路径的输入仍为计算得到的激活,行为不变。这是提交者的开发验证,不是本站在多种硬件上的独立复现;本文不将局部测试改写为整模型提速百分比。

本地排查时,先保存实际构建号、后端、缓存设置、权重身份和出错输入,再在固定配置下对照升级前后的输出。确认正确后,才分别比较首字延迟、prefill、decode与搬运开销。能生成流畅文字不证明专家数据没读错,跑得更快也不能替代正确性验收。

来源:https://github.com/ggml-org/llama.cpp/pull/32100 发布:https://github.com/ggml-org/llama.cpp/releases/tag/b12328