四张5080的Flash-Next新报告:448.60 tok/s不能脱离功耗与输出方式
社区公开QEngine 1.3.5.9四卡报告,明确限功耗、主机卸载与整块回复的计时限制。权重量化缺明确原文,不为凑字段导入跑分。
2026年11月14日12:20 UTC,club-3090 issue #2033公开四张RTX 5080运行Qwen3.8-Flash-Next的完整报告,原始报告生成于11:22:11 UTC,均落在本次观察窗。作者使用QEngine 1.3.5.9、构建ee98bd1,报告code decode均值448.60、narrative均值366.93 tok/s,每种形状5次测量。这是一份社区自报,不是本站复现。
第一,四张卡不是唯一条件。每卡通过PCIe Gen5 x8交换网络连接,没有NVLink;GPU0限252W,其余限250W。报告说明部分专家由主机内存承载,并启用MTP与n-gram查找,KV格式为fp8_e4m3。这些条件不能删掉,再拿数字与默认功耗、纯显存常驻或关闭投机的记录排高低。主机承载规模也不是实测显存占用。
第二,能寻址大上下文,不等于记得住。报告的ctx为1048576,但上下文边界探测、压力、持续运行检查和能力题集回答的是不同问题。作者另列思考开关两组能力测试,并明确采样标记仍为sampling=server。维护者确认新修复不会追溯改写旧运行的标记,因此不能把这些分数写成受控的思考模式因果比较。
第三,TTFT也可能混入整段生成。该报告的12轮工具回复全部一次性到达;客户端第一块出现时,整段回复已生成。维护者随后合并PR #2035,取消对此类曲线作提示处理增长评级,但保留原始数字。不能把曲线上升直接解释成读取长提示变慢,更不能从块间传输时间反算decode。
本站保留原文与缺项,不将这份报告强凑成标准跑分记录:已取回正文和完整评论,但未见明确的权重量化档。KV精度与附件文件名都不能代替权重量化。一个条件完整、可复查的数字,才有资格进入后续比较。
来源:https://github.com/noonghunna/club-3090/issues/2033 计时修正:https://github.com/noonghunna/club-3090/pull/2035