← 新闻
硬件

3090混合双卡社区排错:给CUDA graph留余量,比把显存塞满更重要

10月29日新增的 QEngine 报告定位到 CUDA graph 显存分配失败。作者将专家缓存旁预留量从256改为1024MB后完成整轮测试,同时付出速度代价;仅适用于该报告条件,本站未复现。

来源: club-3090 independent community report

10月29日18:37 UTC,club-3090 #1846 新增复测评论:RTX 3090与3090 Ti组合运行 Qwen3.8-Flash-Next,QEngine 在 CUDA graph 实例化时显存耗尽。本文只采用当日新评论,不把原帖前一天的跑分当新测量。

作者固定同一镜像digest及 FLASH_COMM=ce FLASH_MAX_SEQS=4 FLASH_KV_ARCHIVE_GB=0。日志先出现 graph instantiate out of memory, other graphs dropped,随后在 flash_seq.cu:298 报内存分配失败并终止。它与 FLASH_COMM=auto 下的非有限数故障不是同一问题;换通信模式,并不能保证消除后续显存分配风险。

关键对照是 FLASH_EC_MARGIN_MB。作者把专家缓存旁每卡预留量从默认256改为1024MB后,重新创建容器并完成包含两种思考设置与持续运行检查的整轮测试,自报期间重启次数为0。该次同机A/B的叙事任务decode从141.8变为127.8 tok/s,10K预填充从1159变为1096 tok/s。两项属于不同测试阶段,不拼成一条标准跑分;它们说明稳定性余量有代价,不是免费提速。

不能反推“1024MB适合所有机器”。这只有一位报告者在一套混合双卡配置上的结果;维护者另见同类预警而未崩溃,也说明预警不等于必然退出。报告中的静态空闲显存还受启动时KV池和专家缓存分配影响,不能只因数字小就判运行失败。相关PR #1856 当次核验尚未合并,且只改说明,不改引擎默认值。

排错时保存镜像digest、全部环境变量、致命日志与容器重启计数。自动重启可能掩盖中途崩溃,“现在能请求”不等于整轮测完。QEngine当前许可为 PolyForm Noncommercial 1.0.0,有非商业使用限制,部署前需核对许可。本站未独立复现,不把本例扩成硬件购买建议。

来源:当日复测评论;说明PR;引擎许可。