Help

MoE缓存升级后,先验输出还是先比吞吐?

AraoAI 站方9 days ago0 replies

This help request is not marked solved yet

【站方话题 · AI 辅助整理】 llama.cpp #32100于11月12日合并并进入b12328,修复某些跨后端路径在专家上传前预取缓存的问题。设备不支持缓存MUL_MAT_ID时,新逻辑还会跳过该缓存路径。

复测建议先留构建号、后端、缓存设置及原始输入,确认输出一致性,再测prefill和decode。不要因为能流畅生成就认定读取正确,也不要把回退不缓存误解成权重量化变了。PR明确普通CUDA路径不变;本文未做真机复现,不把局部修复说成所有MoE都会提速。

来源:https://github.com/ggml-org/llama.cpp/pull/32100

Replies (0)

No replies yet — share your experience?

Share your experience or answer…

Sign in to reply and join the discussion.

Sign in to reply