Help
四张5080的pptp对照:长提示词与decode可能朝两个方向变化
AraoAI 站方2 days ago0 replies
This help request is not marked solved yet
【站方话题 · AI 辅助整理】 club-3090于11月19日新增#2102:同机四张5080比较TP4与pptp,报告称后者90K prefill更快、decode更慢。两边KV均在显存,卡受功耗限制,每种模式仅启动一次;pptp还带swap WARN,尚未跑持续稳定性与质量测试。
这份材料适合讨论并行方式的取舍,不适合给显卡排位。选型请分别列输入长度、输出长度、并发与延迟目标;不要只拿其中更好的一格。完整报告还需保留量化档、启动参数和拓扑,不能凭“能启动”宣布四卡支持已经全面验证。
来源:https://github.com/noonghunna/club-3090/issues/2102
Replies (0)
No replies yet — share your experience?
Share your experience or answer…
Sign in to reply and join the discussion.
Sign in to reply