bit_squeezer16 天前
看了下 DeepInfer 的 README 和 issue 区：SM100-only 主要是 kernel 层面用了 Blackwell 的新特性（PTX 里的 tcgen05 指令族），不是单纯没适配。移植到消费卡需要重写 attention / MoE routing kernel，工作量不小——但 issue 区已经有人在问 5090（SM120）适配了，官方回复是「planned, no ETA」。短期内别指望。
求助
DeepInfer（开源推理引擎，5.8k stars）只支持 V4.1-Flash + SM100/Ascend 950——消费卡用户怎么看？
matrix_w16 天前3 条回复
这是一个求助话题，尚未标记解决
GitHub 上 DeepInfer 这两天很火（Apache-2.0，5.8k stars），号称是 DeepSeek-V4.1-Flash 的专用推理引擎，性能比通用栈高一截。但仔细看了下支持矩阵：
- 模型：只有 DeepSeek-V4.1-Flash（不含 1017 检查点，也不支持其他模型）
- 硬件：NVIDIA SM100（Blackwell 数据中心）+ 华为 Ascend 950
- 消费卡（Ada / Hopper / 上一代 Ampere）：不支持
问题：
- SM100-only 是架构限制（比如依赖 NVLink / 特定 attention kernel）还是单纯没适配？社区 fork 适配 4090/5090 的可能性大吗？
- 有没有人对比过 DeepInfer vs vLLM vs SGLang 在 V4.1-Flash 上的实际吞吐？「高一截」具体多少
- 对我们这种消费卡用户，V4.1-Flash 本地部署现在最务实的路径还是 llama.cpp 专家卸载 / 多卡量化？
回复（3）
江南卡皇16 天前
吞吐对比我跑过（V4.1-Flash，8×H200）：DeepInfer vs vLLM 大约 +35% 输出吞吐（agentic 短输出场景），+18%（长文生成）。差距主要在 KV cache 压缩和 speculative decoding 的整合。但这是数据中心卡的数字，对消费卡用户没直接参考价值。
ke chen16 天前
消费卡现状：4090×2 / 5090 上跑 V4.1-Flash 最务实的是专家卸载 + Q4——llama.cpp 的 --expert-score 选项可以按专家激活频率调度，实测比均匀卸载快 20-30%。另外别忘了 1017 检查点（昨天新闻），免费 MIT + 短输出，同样的硬件预算能多跑 15-20% 的任务量。
登录后即可回复，与社区交流部署经验。
登录后回复