llama.cpp b11985 纳入 Metal 解码优化:MXFP4 内核变化,不是全模型提速承诺
10月29日合并的 Metal 改动进入 b11985,涉及 MXFP4 矩阵向量运算、逐元素算子和 GLU。原有PR测试不等于今日新增复现,升级仍需固定模型与参数做A/B。
2026年10月29日,llama.cpp 合并 Metal 优化 PR #31075,并在当日17:10 UTC发布的 b11985 中列入这些改动。新事实是代码进入上游构建,不是今天又测出一套更高的速度。该PR早在10月24日创建,原有跑分不能因为合并日期变新,就冒充过去24小时的新测量。
改动集中在单token解码。第一项是 MXFP4 矩阵向量内核:用半精度位操作解码 FP4 值,替代线程组查找表,并以对齐的32位字读取打包数据。发布说明指出,新内核不再使用线程组内存;PR还说明,相关 MoE 专家路径也复用该函数。这是具体格式与算子的实现变化,不是给所有量化档位统一加速。
第二项把连续逐元素运算与按行广播的二元运算,从每线程组一个线程改为最多256线程;第三项让 GLU 的一行拆到多个线程组,避免单行解码时整项运算只落在一个线程组。不同模型是否受益,要看它实际走过哪些算子,不能从“Metal更新”直接推出每台Mac都更快。
原PR附有 M3 Ultra 上的交错A/B与后端算子检查,但那是提交者提供的历史测试,不是本站独立复现,更不是全部Apple芯片的覆盖证明。本站本次只确认合并状态、发布构建与改动内容,不把旧跑分新录为今日实测,也不据此发布显卡或整机排名。
升级建议保留旧二进制、模型文件哈希和启动参数,分别记录提示词读入与输出速度,并复查生成结果。权重量化、KV精度、上下文、批大小和预热方式保持一致;只看一段对话体感,既分不清缓存收益,也无法定位是哪项内核变化起作用。新构建值得测,不等于旧配置必须立刻换。