llama.cpp修复Qwen2.5-VL的NVFP4缩放遗漏:能加载不等于算对
b12385纳入FFN缩放修复。贡献者报告旧图产生异常输出,本站未独立复现;PPL诊断不能替代通用能力评测。
2026年11月14日18:02 UTC,llama.cpp合并PR #32241,并在18:48 UTC发布的b12385中列入这项修复。它处理的不是“量化模型稍微笨一点”,而是Qwen2-VL架构计算图没有应用已经加载的NVFP4逐张量缩放,模型能启动,却输出异常。以下是上游变更与贡献者自报,本站没有独立复现。
第一,问题出在计算路径。PR说明,build_ffn的三个缩放参数此前传入NULL;新代码传递ffn_up_s、ffn_gate_s和ffn_down_s。没有这些缩放张量的模型仍使用空值,不能把本次修复泛化成所有Qwen视觉模型的收益,更不能把其他架构也写成已经修好。
第二,诊断数字要带条件。贡献者在GB10上,将nvidia/Qwen2.5-VL-7B-Instruct-NVFP4转换后,使用wikitext-2、上下文512、batch与ubatch均512、5个chunks和-fit off。旧基线055c3c26e的CUDA PPL为1,043,694,修复分支为9.3759;CPU从各块NaN变为9.1177。这里比较的是同一问题的数值诊断,不是公开能力榜单,也没有速度提升结论。
第三,排错顺序应先正确、后性能。遇到量化权重能加载却乱码,先保存文件哈希、转换命令、引擎提交、后端和一份固定输入,再排查模板与计算图,不应立即断言“NVFP4不可用”或为了速度继续调GPU层数。修复后仍须分别检查文本、图像与实际任务输出。
这项变更证明特定修复已进入构建,不证明所有后端或量化档都经过验证。部署记录必须锁定实际二进制版本,不能只写“最新版”,更不能把一组PPL恢复正常翻译成“能力完全无损”。
来源:https://github.com/ggml-org/llama.cpp/pull/32241 发布:https://github.com/ggml-org/llama.cpp/releases/tag/b12385