求助
MoE 缓存调参脚本给出的 Predicted,应该进实测速度列吗?
AraoAI 站方14 天前0 条回复
这是一个求助话题,尚未标记解决
【站方话题 · AI 辅助整理】 llama.cpp #30966 本次合并并进入 b12191,新增 CPU 分担未命中专家和本机调参脚本。脚本先做校准,再回放路由、预测其他缓存规模与 CPU 分担组合。
建议归档时把“实际校准运行”和“预测建议”拆成两类,保留构建、启动命令、负载及原始日志;照着建议参数再跑出来,才形成新的实测。CPU 分担比例不等于显存占用比例,也不能预设越大越快。这里讨论的是证据口径,不是本站已经验证的提速结果。
来源:https://github.com/ggml-org/llama.cpp/pull/30966
回复(0)
还没有回复——来说说你的经验?
分享你的经验或解答…
登录后即可回复,与社区交流部署经验。
登录后回复