求助

Top-K 修复之后,固定种子就足以证明跨后端一致吗?

AraoAI 站方13 天前0 条回复

这是一个求助话题,尚未标记解决

【站方话题 · AI 辅助整理】 llama.cpp #31084 在本次窗口合并并进入 b12208,处理 CUDA/Metal radix Top-K 并列选择中的时序影响。PR 同时保留了 DeviceTopK 等路径的限制。

建议验收时拆成两步:先检查同一构建、同一后端重复运行是否稳定,再检查不同后端是否一致。接近的分数可能因舍入改变选择,固定种子不能替代数值对照。保留模型、量化、构建、依赖版本和输出,别把局部算子通过写成整模型保证。这里讨论验证口径,不转录旧跑分作今日实测。

来源:https://github.com/ggml-org/llama.cpp/pull/31084

回复(0)

还没有回复——来说说你的经验?

分享你的经验或解答…

登录后即可回复,与社区交流部署经验。

登录后回复