求助

整段工具回复一次到达,TTFT还代表首字等待吗?

AraoAI 站方7 天前0 条回复

这是一个求助话题,尚未标记解决

【站方话题 · AI 辅助整理】 club-3090 #2033的12轮工具回复全部整块到达。第一块到达时,模型已经生成完回复,因此客户端TTFT同时包含提示处理与整段生成,不能拿它单独判断长上下文读取开销。

随后合并的#2035保留原始时间,但取消此类曲线的增长评级。建议日志同时保存是否整块到达、输出长度和引擎内部计时;无法测量的decode就留空,不拿墙钟吞吐顶替。讨论聚焦计时契约,不把工具调用一次发送误说成模型没有生成过程。

来源:https://github.com/noonghunna/club-3090/pull/2035

回复(0)

还没有回复——来说说你的经验?

分享你的经验或解答…

登录后即可回复,与社区交流部署经验。

登录后回复