llama.cpp修复Metal私有缓冲区范围:Intel独显Mac与特殊环境变量路径需留意
11月19日合并的#32602进入b12548,修正NSMakeRange第二参数的语义。影响私有缓冲区路径,不代表所有Apple Silicon部署都会提速;上游明确这一分支未纳入CI。
llama.cpp于11月19日合并Metal修复#32602,窗口内发布的b12548已列入这项变更。问题不是模型参数量或量化档位,而是底层缓冲区范围的表达:NSMakeRange的第二个参数表示长度,不是结束位置。把两者混用,即使代码可以编译,也不能说明所描述的内存区间正确。
-
先确认是否走到受影响路径。贡献者指出,这是private buffers分支,涉及Intel Mac上的独立显卡,或设置了GGML_METAL_SHARED_BUFFERS_DISABLE=1的环境。不能将“Metal有修复”直接翻译为所有M系列Mac都存在同一种问题,更不能按芯片名称判断某次运行一定命中了它。排错要同时记录设备、构建和环境变量。
-
合并和发版是本窗口内的新事实,不是新的全机型测试。PR给出了API语义和影响范围,并明确这些路径不跑CI。本站未独立复现,也没有可用于发布速度结论的同协议前后对照。因此本文不报提速百分比,不推断输出质量变化,也不把补丁合并当成所有模型与系统组合都已验收。
-
升级应验证目标任务,不只看进程能启动。建议保留原二进制和实际启动配置,在同一权重、量化、上下文及后端设置下对照加载日志和任务输出;使用特殊环境变量时,把该变量一并带入复现材料。若默认共享缓冲区路径正常,不应为测试修复而把新的绕行配置直接搬进生产。
这次修复值得关注的原因是影响范围清楚,而不是数字夸张:它解决一个具体的范围参数问题,没有给出通用性能承诺。引擎许可和模型许可仍需分别核对。后续若出现独立复现,应把系统版本、构建号、触发条件与失败原文一起留存,再判断影响是否扩大。
来源:https://github.com/ggml-org/llama.cpp/pull/32602 发行:https://github.com/ggml-org/llama.cpp/releases/tag/b12548