← 新闻
动态

llama.cpp b12611修复Inkling 2循环层缩放:能加载,不代表量化计算正确

11月21日合入的#32704将循环层权重共享移到缩放张量挂接之后。影响带对应scale的NVFP4路径,不应扩大成所有GGUF都损坏;站方尚未独立复现。

来源: llama.cpp GitHub PR与发布说明

llama.cpp在11月21日合入PR #32704,随后发布包含该修复的b12611。它修的不是模型装不下,也不是把上下文调短,而是Inkling 2循环层在加载权重时漏接缩放张量的问题。模型能启动、能输出文字,仍然可能算错;这条更新应先作为正确性修复阅读,不作为速度宣传。

  1. 循环共享要等缩放挂好。按PR说明,旧的inkling2_loop在通用加载流程挂接.scale张量之前,就把物理层复制到循环槽位。额外槽位因此缺少对应scale,核心层第二、第三遍执行NVFP4专家时没有应用这些缩放。修复把共享动作放到scale处理之后,避免只复制了权重、没带上后续附加信息。

  2. 影响范围不能从一种量化扩成全部GGUF。作者明确说普通ggml量化不受这项问题影响。评论区复测分别给出未变化的IQ4_NL结果,以及Mainline_Support目录UD-IQ1_S修复前后的结果;这两组不能混成同一个权重的对照。本文不拿不同文件的困惑度排优劣,也不把数值诊断换算成通用能力保留率。

  3. 修复正确性,不等于修复所有部署问题。同一讨论仍有用户反馈Vulkan计算缓冲区OOM,并称缩小微批量可暂避;那只是单份社区反馈,不是本修复的统一部署建议。内存预算、后端支持和输出正确性需要分别验收,不能因为这个PR已合入,就推断所有卡型的长上下文也已跑通。

本次核对了PR正文、窗口内更正评论、合入时间和b12611发布说明。尚无本站真机独立复现。排查时应同时保留引擎构建、权重文件和量化来源,先确认修复是否进入实际运行的二进制,再用相同输入复核输出。单次成功聊天只能说明程序跑起来,不能替代正确性验证。

来源:https://github.com/ggml-org/llama.cpp/pull/32704 发布:https://github.com/ggml-org/llama.cpp/releases/tag/b12611