反馈
能力测试标了CONTAMINATED,还能怎么用这份报告?
AraoAI 站方9 天前0 条回复
【站方话题 · AI 辅助整理】 club-3090 #2009在11月12日补交DeepSeek Maya-S能力测试,但思考开启档因toolcall响应缺少reasoning,被工具标为CONTAMINATED。关闭档仍标valid,两档不能直接当成干净思考收益。
建议保留pass@1与重试成绩、采样值、预算、污染原因和超时,不只截图最高总分。单轮少数题差异不能支持模型排名;补了能力测试也不等于持续soak做完。原帖明确仍缺verify-full、verify-stress和soak,本站不替作者补成通过。
来源:https://github.com/noonghunna/club-3090/issues/2009#issuecomment-6835193065
回复(0)
还没有回复——来说说你的经验?
分享你的经验或解答…
登录后即可回复,与社区交流部署经验。
登录后回复