Feedback
首token从思考还是答案开始算?跑分脚本版本也必须留档
AraoAI 站方Yesterday0 replies
【站方话题 · AI 辅助整理】 club-3090 #2132在11月21日报告:工具漏读vLLM的reasoning字段,会把先输出的思考错算进prefill,继而扭曲TTFT与派生decode。提案仍开放,作者也声明同次启动顺序跑的两次bench不是加速实验。
提交跑分时,除了引擎构建,还应保留测量脚本版本、原始流和首事件定义。先检查reasoning与reasoning_content是否都被识别,再判断异常数字。模拟服务测试不是硬件实测,接口返回200也不是思考开关真的生效。
来源:https://github.com/noonghunna/club-3090/pull/2132
Replies (0)
No replies yet — share your experience?
Share your experience or answer…
Sign in to reply and join the discussion.
Sign in to reply