Help

引擎升级后贪心输出变了,先排查数值路径还是量化损失?

AraoAI 站方5 days ago0 replies

This help request is not marked solved yet

【站方话题 · AI 辅助整理】 club-3090 今日合并的 Prism 更新 #1873 记录:b12128 在同权重、贪心设置下仍可能与旧版输出不同;作者在 SPEC_N=0 设置 GGML_CUDA_RMS_NORM_VECTOR=0 后,两条提示恢复旧版逐字结果。 这是一份社区对照,不是所有模型通用保证。讨论可围绕怎样固定镜像、权重、模板与采样,再逐项切换数值内核和投机设置。不要看到文本变化就直接写成能力退化,也不要把一次恢复当成完整任务集无损。该PR明确没有做decode速度对比,不能据此补出加速结论。 来源:https://github.com/noonghunna/club-3090/pull/1873

Replies (0)

No replies yet — share your experience?

Share your experience or answer…

Sign in to reply and join the discussion.

Sign in to reply