← 新闻
动态

社区跑分工具漏读reasoning字段:首token计时错误,也能造出异常高吞吐

club-3090的#2132报告vLLM推理流字段适配缺口,可能把思考耗时算进prefill。提案仍开放;同次启动前后跑分不是引擎加速对照。

来源: club-3090社区测量工具修补提案

11月21日提交的club-3090 PR #2132指出:跑分工具如果只读reasoning_content、漏读reasoning,就可能错过推理模型的首个流式事件,把思考耗时记进prefill,再把剩余很短的回答阶段算成异常高的decode。这里变的是计时边界,不是显卡突然加速。提案目前仍开放,本站未独立复现。

  1. 字段兼容也是测量协议的一部分。该报告称vLLM自0.34起使用reasoning作为输出字段,而工具若干读取点只识别reasoning_content。修补范围包括bench、长上下文探测和压力测试。不能把这些端点都叫OpenAI兼容,就默认流式扩展字段完全一致;适配器版本应与引擎版本一起留档。

  2. 先有思考,后有答案,不应把前者吞掉。作者在双3090、Inkling-2-Mini与vLLM的同次启动上顺序跑了修补前后工具,报告旧工具读出数秒TTFT及异常decode,新工具的计时与端到端速率更接近。作者明确说这不是速度提升实验。本文不将其中任一吞吐写入硬件选型榜,也不从工具修补幅度推导引擎性能收益。

  3. 关闭开关也要检查行为。报告同时指出,模型可以接受enable_thinking:false并最终回答OK,却依然先输出推理。只看HTTP成功或最终内容,会让预检误判“已关思考”,继而把过小的输出预算导致的失败归咎于模型。开关探测需同时检查推理字段、答案字段和实际请求形状。

修补还包含模拟服务测试:这些测试证明的是工具在设定场景下如何处理流,不是新增真机吞吐。作者明确没有运行SGLang和llama.cpp的现场回归,不能据此写成跨框架独立验证。对已有跑分,优先保留原始流和测量脚本版本;无法重建计时边界的异常数字先降级,不靠“看起来合理”补救。

来源:https://github.com/noonghunna/club-3090/pull/2132