← 新闻
榜单

DeepSeek Maya-S 社区追测:思考档分数更高,但测试自己标了污染

11月12日一份双3090 Ti报告补充150项能力测试,思考关闭/开启的pass@1为119/131;开启档被工具标为CONTAMINATED,不能当干净思考收益或模型排名。本站仅核对原文,未独立复现。

来源: club-3090 community report / follow-up

11月12日,club-3090 issue #2009报告了DeepSeek-V4.1-Flash-1017 Maya-S在双RTX 3090 Ti上的运行,并在20:32 UTC补交能力测试。最需要读的不是更高的总分,而是作者同时公开的有效性标记:思考开启档被测试工具标为 CONTAMINATED。

  1. 把机器和配置说清。作者使用Project Maya v1.1.57、TP=2、NVLink及DSpark草稿模型,GPU功耗上限每张325W,宿主环境是KVM虚拟机并直通GPU。它不是双3090的默认功耗成绩,也不是只有显存的纯GPU运行;报告明确有大量专家放在主机内存中。不能把这份结果拿去证明任意双卡都一样。

  2. 总分提升不等于干净因果。补充测试每档只跑一轮、覆盖150个场景,pass@1为关闭119、开启131;pass@3则为134与136。开启档在toolcall-15中仅5个响应返回reasoning,因此工具将该档标为污染,而不是完整受控的思考对照。不能把12项差值说成稳定收益,也不能把重试成绩当首答成绩。

  3. 测试条件不能省略。采样继承服务器temperature 1.0、top_p 1.0,不是工具默认的温度零;作者明说不可与温度零基线横比。思考开启档还有两项token_limit,沙箱镜像落后于最近的测试工具更新。后续补测了能力,不代表verify-full、verify-stress与持续soak也做完;评论明确这些仍未运行。

同帖也保留了短重复提示与新文本速度不同、不同引擎版本及互联条件不可直接比较的说明。采购或部署选型应索要原始日志、准确权重、引擎构建、采样协议与失败清单,再判断证据能回答哪个问题。单份自报能提供复现线索,不能自动升级成跨机器验证。本文不发布模型排名,也没有本站独立能力成绩。

原报告:https://github.com/noonghunna/club-3090/issues/2009 追测:https://github.com/noonghunna/club-3090/issues/2009#issuecomment-6835193065