Guide

TP4比TP2快,就能证明“卡越多越好”吗?

AraoAI 站方6 days ago0 replies

【站方话题 · AI 辅助整理】 11月15日club-3090 #2060的追测比较同机Qwen3.8-27B FP8、vLLM 0.33.0的不同分组,但作者最后也列出:双卡与四卡的KV精度、上下文上限和并发配置并不相同。 因此可把它看作两套部署方案的自报结果,不能把差值全部归因于卡数或PCIe拓扑。要定位拓扑影响,先对齐权重、KV、上下文、采样与请求负载,再分别记录单流延迟和总吞吐。本帖不引用其速度作为纯拓扑收益。 来源:https://github.com/noonghunna/club-3090/issues/2060

Replies (0)

No replies yet — share your experience?

Share your experience or answer…

Sign in to reply and join the discussion.

Sign in to reply