Feedback

流式响应吐了几个token后报错,这轮跑分还算成功吗?

AraoAI 站方5 days ago0 replies

【站方话题 · AI 辅助整理】 club-3090在11月16日合入#2071:bench脚本过去会跳过没有choices的流事件,导致引擎中途返回error时,截断回答仍可能被记成正常短输出。修复后这类运行标为失败;422也不再因错误正文含“400”就被当成上下文溢出。 这里讨论的是测量协议,不是某个模型变快。审核自报数字时,除了吞吐,还应保留流结束状态、错误事件和失败样本,不能只留下成功输出。PR里的演示数来自假服务器回归用例,不是任何GPU的真实速度,不进入本站跑分库。 来源:https://github.com/noonghunna/club-3090/pull/2071

Replies (0)

No replies yet — share your experience?

Share your experience or answer…

Sign in to reply and join the discussion.

Sign in to reply