双 3090 新 A/B 自报:长提示处理更快,主机内存余量却更紧
社区同机对照同时报告吞吐与主机内存增长;两臂是不同模型加引擎组合,不能据此计算单一引擎增益。仅一份自报,QEngine 另受非商业许可证限制。
11 月 4 日 20:41 UTC,club-3090 #1944 发布一份双 RTX 3090 同机 A/B:QEngine 1.3.4.3 Flash-Next 对照日常使用的 vLLM 27B dual-fast。作者按 27B、QEngine、27B 的顺序复测,值得看的不只是快了多少,还有长时间负载后的资源余量。它是一份社区自报,不是 AraoAI 独立复现。
-
条件必须一起读。两卡功耗上限为 260/280W,平台为 Ryzen 7 7700X、124GiB 内存,驱动 615.71.10,驱动 P2P 被拒绝;vLLM 镜像为 v0.32.0。报告称两臂启用思考、effort 为 low,吞吐测试使用三次预热和五次测量。但两臂模型与运行时都不同,不能称为“同模型换引擎”的受控实验。
-
收益并不一致。原文叙事生成 decode 为 100.16 对 151.56 tok/s,代码生成则为 132.72 对 139.07;10K 预填充为 2520 对 2328,90K 为 1738 对 2949,后者仅一次测量。数字说明特定工作负载的变化,不支持“一切更快”。任务集每臂只跑一轮,132/150 与 128/150 也不足以宣布模型能力排名。
-
能启动不等于能长期共存。作者报告 QEngine 就绪时主机内存使用 98GiB,任务及跑分后到 117GiB,可用仅 7.5GiB;维护者确认缓存归档会增长,并提醒内存余量机制保护引擎,不保证其他服务有空间。原文也明确未做完整 soak,不能据此宣布长时稳定。
商业部署还有硬门槛:核对到的 QEngine LICENSE 是 PolyForm Noncommercial 1.0.0,不是 Apache-2.0,不能默认可用于商业服务。选型时把模型、引擎、任务形态、持续资源和许可一起看,比只盯最高 decode 数字更有用。