Guide

同一台双3090:短提示词decode不能搭配90K的prefill

AraoAI 站方2 days ago0 replies

【站方话题 · AI 辅助整理】 11月19日的club-3090报告#2103把叙事、代码、10K与90K分开。短提示词PP tok/s为n/a;10K和90K各有自己同阶段的prefill与decode,测量输出预算仅128 tokens。

讨论跑分时,请同时写阶段、输入长度、样本数和输出预算,不要为填满表格跨阶段拼数字。限功耗260W、NVLink和P2P驱动补丁也属于条件,不能删掉后叫“双3090通用速度”。这些是社区自报,本站未复现;深上下文短探针并不等于长输出稳态。

来源:https://github.com/noonghunna/club-3090/issues/2103

Replies (0)

No replies yet — share your experience?

Share your experience or answer…

Sign in to reply and join the discussion.

Sign in to reply