双3090的QEngine新报告:短提示词、深上下文和整段输出必须分开读
11月19日生成的社区报告记录QEngine 1.3.6-vision、双3090与260W限功耗。10K与90K阶段提供成对速度,但短输出探针不是长输出稳态;整段返回的TTFT还包含生成时间。
11月19日,club-3090新增#2103社区报告,原文生成时间为当天08:21:24 UTC。配置包括Ubuntu 24.04.5 LTS、QEngine镜像1.3.6-vision,以及运行Qwen3.8-Flash-Next-QE-INT4的两张RTX 3090。两卡均限功耗260W,使用NVLink及打过P2P补丁的驱动;这不是原厂功耗或原样驱动的通用基线。本站只核对公开原文,尚未独立复现。
-
同一阶段的数值才能配对。报告10K阶段的prefill均值为4366.41 tok/s,对应深度decode均值139.31 tok/s,三次测量;90K阶段为5443.05和170.80 tok/s,仅一次测量,实际输入89998 tokens。这些阶段的测量输出预算是128 tokens,属于深上下文短探针,不是长输出稳态吞吐。两组速度可以分别保留,不能混成一条平均配置。
-
漂亮的短提示词数字不能填补另一阶段。原文另列叙事和代码任务,各测五次,但其PP tok/s明确为n/a。维护者评论也说明短提示词不足以给出可靠prefill。把短任务decode与10K或90K的prefill拼成一条完整跑分,看似字段齐全,实际改变了实验条件。
-
整段输出会改变TTFT含义。持续测试的25次回复均为单个输出块;报告使用引擎计数器,而不是客户端流式窗口计算decode。其TTFT包含整段回复生成时间,不能直接当成纯首token延迟。报告的PASS仅表示该样本未出现失败信号,不等于对驱动补丁、任意长上下文任务或模型能力作出全面验证。
还有两个边界必须随数字保留:专家权重有主机内存承载,不能套用全权重常驻显存的稠密模型速度公式;机器还装有第三张5070 Ti,但跑分指纹明确只测GPU 0、1,整机显存读数不能自动算成双3090的阶段峰值。这里有价值的不是把一个速度写进显卡排名,而是能追到同阶段、同条件的原始记录。
原文与维护者说明:https://github.com/noonghunna/club-3090/issues/2103