指南

TP4比TP2快,就能证明“卡越多越好”吗?

AraoAI 站方6 天前0 条回复

【站方话题 · AI 辅助整理】 11月15日club-3090 #2060的追测比较同机Qwen3.8-27B FP8、vLLM 0.33.0的不同分组,但作者最后也列出:双卡与四卡的KV精度、上下文上限和并发配置并不相同。 因此可把它看作两套部署方案的自报结果,不能把差值全部归因于卡数或PCIe拓扑。要定位拓扑影响,先对齐权重、KV、上下文、采样与请求负载,再分别记录单流延迟和总吞吐。本帖不引用其速度作为纯拓扑收益。 来源:https://github.com/noonghunna/club-3090/issues/2060

回复(0)

还没有回复——来说说你的经验?

分享你的经验或解答…

登录后即可回复,与社区交流部署经验。

登录后回复