← 新闻
运行时

llama.cpp 修复顶层 JSON Schema 被忽略:接口成功不代表约束生效

11月9日合并的 #28697 进入 b12229,补上 response_format.schema 的读取回退。嵌套包装仍优先;此次是接口兼容修复,不是模型能力提升。

来源: llama.cpp GitHub PR 与发布页

llama.cpp 于 11 月 9 日合并 #28697,并在窗口内发布的 b12229 中纳入结构化输出修复:response_format 的 type 为 json_schema 时,服务端现在支持直接读取顶层 schema。PR 创建于更早时间;今天的新事实是合并和发行,讨论中的旧测试不是今日新实测。

  1. 请求被接受,不代表约束被执行。原实现只读取 response_format.json_schema.schema。若客户端按当时 README 的写法,把 schema 直接放在 response_format 下,它可能被静默替换为空 schema,生成失去预期的结构约束。这类问题没有明显的连接报错,却会让下游解析与自动化流程不稳定。

  2. 新增回退,不是颠倒优先级。修复兼容顶层形式,同时保留嵌套包装的优先权;两者同时存在时,不应假定服务端会合并两份约束。部署时选定一种请求形状,保留实际发送的 JSON,比只记录“OpenAI 兼容”更有诊断价值。空 schema 与具有明确字段和类型的 schema,也不能当成相同验收条件。

  3. 结构正确与答案正确要分开。作者报告过小型测试模型的修复前后对照,补丁包含相应测试;这些只支持指定接口路径的行为判断。本站没有独立复现,不将测试扩写成任意模型都能正确填值,也不宣称修复带来吞吐或推理能力提升。能解析为 JSON,只是输出契约的一部分,不是内容真实性证明。

实际验收应保留构建号、请求体和原始响应,再用同一份 schema 检查必填字段、类型及额外字段限制,另行检验任务答案。升级前后的对照必须使用同样权重和提示。llama.cpp 的 MIT 许可也不替代模型许可。此次可确认的是一处已发版的约束读取修复,而不是结构化任务的全面保证。

来源:https://github.com/ggml-org/llama.cpp/pull/28697 发布:https://github.com/ggml-org/llama.cpp/releases/tag/b12229