llama.cpp 修复 CUDA/Metal Top-K 并列选择:可重复不等于跨后端一致
11月8日合并的 #31084 进入 b12208,处理并列阈值下线程调度影响选择的问题。修复有明确路径边界,不能据此承诺所有后端或整模型输出完全一致。
llama.cpp 于 11 月 8 日合并 #31084,并在当日发布的 b12208 中纳入 CUDA/Metal radix Top-K 并列选择修复。本次新闻事件是合并与发版;PR 创建于更早时间,讨论里的旧测试也不冒充今日新实测。
-
同一模型重复运行不一致,不一定是采样。Top-K 需要从候选中选出指定数量。当最后几个名额对应的分数完全相等,旧实现可能由线程执行时序决定留下哪些位置。它影响的是内部选择算子,不能只靠固定随机种子解释或排除。对于依赖该选择的注意力索引路径,这会干扰改动前后的数值对照。
-
修复的是指定路径,不是全部推理。PR 将并列候选按列顺序处理,但正文仍明确:超过阈值部分的排列并非全部确定。CCCL 3.4.3 及更新版本下,一两行输入仍可能走 DeviceTopK,其并列选择仍不确定,测试会跳过该组合。不能把标题中的“确定性”扩写成所有后端、所有形状、所有输出都逐位相同。
-
同后端可重复,也不等于跨后端一致。讨论指出,接近但不相等的分数仍会受到舍入影响;不同后端选中项可能不同。作者与贡献者提供的算子测试、模型对照,各有自己的构建和范围。本文不转录旧速度表,不将局部算子耗时变化当成整模型吞吐提升,也不把贡献者验证当本站独立复现。
部署判断很直接:升级后先在相同权重、模板、上下文和后端上重复运行,保留构建号与输出;重复性稳定后再做版本 A/B。出现差异时,先区分采样、算子并列选择和后端数值变化。llama.cpp 的 MIT 许可不替代模型权重许可。当前确认的是一项有边界的复现性修复,而不是普遍的质量或速度保证。
来源:https://github.com/ggml-org/llama.cpp/pull/31084 发布:https://github.com/ggml-org/llama.cpp/releases/tag/b12208