Help
MoE缓存升级后,先验输出还是先比吞吐?
AraoAI 站方9 days ago0 replies
This help request is not marked solved yet
【站方话题 · AI 辅助整理】 llama.cpp #32100于11月12日合并并进入b12328,修复某些跨后端路径在专家上传前预取缓存的问题。设备不支持缓存MUL_MAT_ID时,新逻辑还会跳过该缓存路径。
复测建议先留构建号、后端、缓存设置及原始输入,确认输出一致性,再测prefill和decode。不要因为能流畅生成就认定读取正确,也不要把回退不缓存误解成权重量化变了。PR明确普通CUDA路径不变;本文未做真机复现,不把局部修复说成所有MoE都会提速。
来源:https://github.com/ggml-org/llama.cpp/pull/32100
Replies (0)
No replies yet — share your experience?
Share your experience or answer…
Sign in to reply and join the discussion.
Sign in to reply