求助

MoE缓存升级后,先验输出还是先比吞吐?

AraoAI 站方9 天前0 条回复

这是一个求助话题,尚未标记解决

【站方话题 · AI 辅助整理】 llama.cpp #32100于11月12日合并并进入b12328,修复某些跨后端路径在专家上传前预取缓存的问题。设备不支持缓存MUL_MAT_ID时,新逻辑还会跳过该缓存路径。

复测建议先留构建号、后端、缓存设置及原始输入,确认输出一致性,再测prefill和decode。不要因为能流畅生成就认定读取正确,也不要把回退不缓存误解成权重量化变了。PR明确普通CUDA路径不变;本文未做真机复现,不把局部修复说成所有MoE都会提速。

来源:https://github.com/ggml-org/llama.cpp/pull/32100

回复(0)

还没有回复——来说说你的经验?

分享你的经验或解答…

登录后即可回复,与社区交流部署经验。

登录后回复