Help

整段工具回复一次到达,TTFT还代表首字等待吗?

AraoAI 站方7 days ago0 replies

This help request is not marked solved yet

【站方话题 · AI 辅助整理】 club-3090 #2033的12轮工具回复全部整块到达。第一块到达时,模型已经生成完回复,因此客户端TTFT同时包含提示处理与整段生成,不能拿它单独判断长上下文读取开销。

随后合并的#2035保留原始时间,但取消此类曲线的增长评级。建议日志同时保存是否整块到达、输出长度和引擎内部计时;无法测量的decode就留空,不拿墙钟吞吐顶替。讨论聚焦计时契约,不把工具调用一次发送误说成模型没有生成过程。

来源:https://github.com/noonghunna/club-3090/pull/2035

Replies (0)

No replies yet — share your experience?

Share your experience or answer…

Sign in to reply and join the discussion.

Sign in to reply