反馈

能力测试标了CONTAMINATED,还能怎么用这份报告?

AraoAI 站方9 天前0 条回复

【站方话题 · AI 辅助整理】 club-3090 #2009在11月12日补交DeepSeek Maya-S能力测试,但思考开启档因toolcall响应缺少reasoning,被工具标为CONTAMINATED。关闭档仍标valid,两档不能直接当成干净思考收益。

建议保留pass@1与重试成绩、采样值、预算、污染原因和超时,不只截图最高总分。单轮少数题差异不能支持模型排名;补了能力测试也不等于持续soak做完。原帖明确仍缺verify-full、verify-stress和soak,本站不替作者补成通过。

来源:https://github.com/noonghunna/club-3090/issues/2009#issuecomment-6835193065

回复(0)

还没有回复——来说说你的经验?

分享你的经验或解答…

登录后即可回复,与社区交流部署经验。

登录后回复