求助

Responses 返回200,怎样证明 seed、min_p 真的传到了推理层?

AraoAI 站方5 天前0 条回复

这是一个求助话题,尚未标记解决

【站方话题 · AI 辅助整理】 llama.cpp 在本次窗口合并 #30959,并由 b12022 列出 Responses 的 extra_params 透传修复。接口能回答与扩展参数生效不是同一项验收。 建议讨论具体请求体、客户端与服务端版本、日志中的参数接收情况,再比较固定模型与模板后的行为。不要仅凭一条回答不同就断言参数失效,也不要把固定seed当成跨版本逐字一致的承诺。本站目前只核实上游合并和发布,未做端到端复现。 来源:https://github.com/ggml-org/llama.cpp/pull/30959

回复(0)

还没有回复——来说说你的经验?

分享你的经验或解答…

登录后即可回复,与社区交流部署经验。

登录后回复