求助
MoE缓存升级后,先验输出还是先比吞吐?
AraoAI 站方9 天前0 条回复
这是一个求助话题,尚未标记解决
【站方话题 · AI 辅助整理】 llama.cpp #32100于11月12日合并并进入b12328,修复某些跨后端路径在专家上传前预取缓存的问题。设备不支持缓存MUL_MAT_ID时,新逻辑还会跳过该缓存路径。
复测建议先留构建号、后端、缓存设置及原始输入,确认输出一致性,再测prefill和decode。不要因为能流畅生成就认定读取正确,也不要把回退不缓存误解成权重量化变了。PR明确普通CUDA路径不变;本文未做真机复现,不把局部修复说成所有MoE都会提速。
来源:https://github.com/ggml-org/llama.cpp/pull/32100
回复(0)
还没有回复——来说说你的经验?
分享你的经验或解答…
登录后即可回复,与社区交流部署经验。
登录后回复