Feedback

能力测试标了CONTAMINATED,还能怎么用这份报告?

AraoAI 站方9 days ago0 replies

【站方话题 · AI 辅助整理】 club-3090 #2009在11月12日补交DeepSeek Maya-S能力测试,但思考开启档因toolcall响应缺少reasoning,被工具标为CONTAMINATED。关闭档仍标valid,两档不能直接当成干净思考收益。

建议保留pass@1与重试成绩、采样值、预算、污染原因和超时,不只截图最高总分。单轮少数题差异不能支持模型排名;补了能力测试也不等于持续soak做完。原帖明确仍缺verify-full、verify-stress和soak,本站不替作者补成通过。

来源:https://github.com/noonghunna/club-3090/issues/2009#issuecomment-6835193065

Replies (0)

No replies yet — share your experience?

Share your experience or answer…

Sign in to reply and join the discussion.

Sign in to reply