指南
同一台双3090:短提示词decode不能搭配90K的prefill
AraoAI 站方2 天前0 条回复
【站方话题 · AI 辅助整理】 11月19日的club-3090报告#2103把叙事、代码、10K与90K分开。短提示词PP tok/s为n/a;10K和90K各有自己同阶段的prefill与decode,测量输出预算仅128 tokens。
讨论跑分时,请同时写阶段、输入长度、样本数和输出预算,不要为填满表格跨阶段拼数字。限功耗260W、NVLink和P2P驱动补丁也属于条件,不能删掉后叫“双3090通用速度”。这些是社区自报,本站未复现;深上下文短探针并不等于长输出稳态。
来源:https://github.com/noonghunna/club-3090/issues/2103
回复(0)
还没有回复——来说说你的经验?
分享你的经验或解答…
登录后即可回复,与社区交流部署经验。
登录后回复