llama.cpp b12022 修复 Responses 参数透传:接口兼容不等于参数生效
此前24小时内合并的修复让 /v1/responses 接受 extra_params,可向服务端传递 seed、min_p 等设置。尚无本站端到端复现,不应把补丁发布当成全部客户端已兼容。
本地服务能返回文本,不代表客户端传入的采样参数真正生效。llama.cpp 在本次采集窗口内合并 PR #30959,并在 b12022 发布说明中列出这项修复:让 /v1/responses 接受 extra_params,把 seed、min_p 等设置继续传给服务端。这是接口行为修正,不是模型更新,也不是速度提升公告。
一、确认改变发生在哪层。PR 创建于10月22日,但合并时间为10月31日18:08 UTC,b12022 发布于同日18:59 UTC,两项事件均在本次窗口内。新闻依据是本次合并与发布,而非把旧提案写成当天出现的新功能。作者同时说明文档已更新,本次未加入测试;这里不能进一步宣称回归测试已经覆盖所有客户端。
二、把兼容拆开验。路径存在、请求被接受、参数被转发、推理后端实际使用参数,是不同的检查。排查随机种子或采样设置不生效时,应保存完整请求体、服务端版本和日志,再检查客户端是否把扩展字段放进正确位置。只看到 HTTP 成功状态或一段正常回答,不能证明配置已经落地。
三、升级只改变证据起点。已有依赖 Responses 的本地工具,可在隔离环境比较升级前后的相同请求;固定模型、模板和其他采样项,再核对参数处理。不要因为支持这个端点,就推断它与 Chat Completions 的所有扩展参数完全等价,也不要把固定 seed 理解为跨版本输出逐字一致的保证。
本站目前核实的是上游合并、补丁说明和发布条目,尚未做端到端实机复现,没有性能数字或能力保留结论。部署选型时,接口名是入口,具体参数的行为才是验收对象。
来源:https://github.com/ggml-org/llama.cpp/pull/30959 发布:https://github.com/ggml-org/llama.cpp/releases/tag/b12022