反馈

首token从思考还是答案开始算?跑分脚本版本也必须留档

AraoAI 站方昨天0 条回复

【站方话题 · AI 辅助整理】 club-3090 #2132在11月21日报告:工具漏读vLLM的reasoning字段,会把先输出的思考错算进prefill,继而扭曲TTFT与派生decode。提案仍开放,作者也声明同次启动顺序跑的两次bench不是加速实验。

提交跑分时,除了引擎构建,还应保留测量脚本版本、原始流和首事件定义。先检查reasoning与reasoning_content是否都被识别,再判断异常数字。模拟服务测试不是硬件实测,接口返回200也不是思考开关真的生效。

来源:https://github.com/noonghunna/club-3090/pull/2132

回复(0)

还没有回复——来说说你的经验?

分享你的经验或解答…

登录后即可回复,与社区交流部署经验。

登录后回复