社区测量修正:工具调用一次吐完,不能算成每秒几十万 token
club-3090 在10月30日合并两项测量修正:一次输出完整工具调用的响应不再报告 decode,客户端与引擎速度按同类请求、同测量窗口对齐。异常数字来自计时口径,不是硬件突破。
几十万 token/s,先别庆祝。10月30日,club-3090 合并 PR #1864:当工具调用整段缓冲后一次发出时,bench-agentic 不再把它算成 decode 速度。对应社区报告使用 QEngine 和 Qwen3.8-27B;这次变化修的是测量器,不是模型或显卡突然变快。
原文探测先收到 role 空内容块,随后是完整 tool_calls、结束块和 usage。旧检查只数 choices 块,未区分实际输出,便把完整调用与结束标记间的极短间隔当生成窗口,用整段 token 数相除。那些 token 并非在这段间隔内才生成。
修正后,脚本统计实际承载输出的块。若整个回复只在一个输出块里出现,decode 标为不可测,并明确说明 TTFT 包含了整段生成时间;墙钟吞吐仍可另报,但不能换个名字冒充纯解码。PR 作者报告自己的同配方复查也出现同类现象。这是社区报告及维护者复查,不是 AraoAI 真机复现,也不足以外推全部引擎。
同日合并的 PR #1865 修正另一类误报:客户端把 prose 与 code 的均值混合,引擎侧却取包含预热、深上下文探针的全窗口中位数。两边比较的并不是同一组请求。新逻辑按任务形状分别比较,限定各自正式测量的日志窗口,并对两侧使用一致的中位数口径。
对选型者,结论不是“这张卡不可信”,而是先审计数字的分子与分母:输出是否逐步可见,TTFT 到底止于首个可见输出还是完整回复,两侧是否包含相同请求。原始硬件报告还明确是 RTX 3090 与 RTX 3090 Ti 混卡、限功耗、不同 PCIe 宽度,不能简写成标准双3090成绩。
许可也要分开:club-3090 标为 Apache-2.0,而本次核对的 QEngine LICENSE 为 PolyForm Noncommercial 1.0.0,不可当成任意商用的开源引擎。
来源:#1864 https://github.com/noonghunna/club-3090/pull/1864 ;#1865 https://github.com/noonghunna/club-3090/pull/1865 ;原报告 https://github.com/noonghunna/club-3090/issues/1862 ;许可 https://github.com/bpx03/QEngine/blob/main/LICENSE 。AI 辅助整理。