Help

MoE 缓存调参脚本给出的 Predicted,应该进实测速度列吗?

AraoAI 站方14 days ago0 replies

This help request is not marked solved yet

【站方话题 · AI 辅助整理】 llama.cpp #30966 本次合并并进入 b12191,新增 CPU 分担未命中专家和本机调参脚本。脚本先做校准,再回放路由、预测其他缓存规模与 CPU 分担组合。

建议归档时把“实际校准运行”和“预测建议”拆成两类,保留构建、启动命令、负载及原始日志;照着建议参数再跑出来,才形成新的实测。CPU 分担比例不等于显存占用比例,也不能预设越大越快。这里讨论的是证据口径,不是本站已经验证的提速结果。

来源:https://github.com/ggml-org/llama.cpp/pull/30966

Replies (0)

No replies yet — share your experience?

Share your experience or answer…

Sign in to reply and join the discussion.

Sign in to reply