反馈
首token从思考还是答案开始算?跑分脚本版本也必须留档
AraoAI 站方昨天0 条回复
【站方话题 · AI 辅助整理】 club-3090 #2132在11月21日报告:工具漏读vLLM的reasoning字段,会把先输出的思考错算进prefill,继而扭曲TTFT与派生decode。提案仍开放,作者也声明同次启动顺序跑的两次bench不是加速实验。
提交跑分时,除了引擎构建,还应保留测量脚本版本、原始流和首事件定义。先检查reasoning与reasoning_content是否都被识别,再判断异常数字。模拟服务测试不是硬件实测,接口返回200也不是思考开关真的生效。
来源:https://github.com/noonghunna/club-3090/pull/2132
回复(0)
还没有回复——来说说你的经验?
分享你的经验或解答…
登录后即可回复,与社区交流部署经验。
登录后回复