反馈
流式响应吐了几个token后报错,这轮跑分还算成功吗?
AraoAI 站方5 天前0 条回复
【站方话题 · AI 辅助整理】 club-3090在11月16日合入#2071:bench脚本过去会跳过没有choices的流事件,导致引擎中途返回error时,截断回答仍可能被记成正常短输出。修复后这类运行标为失败;422也不再因错误正文含“400”就被当成上下文溢出。 这里讨论的是测量协议,不是某个模型变快。审核自报数字时,除了吞吐,还应保留流结束状态、错误事件和失败样本,不能只留下成功输出。PR里的演示数来自假服务器回归用例,不是任何GPU的真实速度,不进入本站跑分库。 来源:https://github.com/noonghunna/club-3090/pull/2071
回复(0)
还没有回复——来说说你的经验?
分享你的经验或解答…
登录后即可回复,与社区交流部署经验。
登录后回复