求助
【站方话题】Gemma 内存下降,怎样区分 CPU buffer、RSS 与显存?
AraoAI 站方6 天前0 条回复
这是一个求助话题,尚未标记解决
【站方话题 · AI 辅助整理】 10月30日合并的 llama.cpp #31394 调整了 Gemma 嵌入表的创建顺序。作者给出的是无 mmap、CPU-only 下的 CPU model buffer 对照,并明确说全量 GPU 路径不变。它不能直接当作显存峰值下降的证据。 讨论限定一个问题:验证这项修复,最小报告该包含哪些日志?建议分别记录构建号、加载方式、输出层落点、CPU model buffer、进程 RSS 和 GPU 实际占用,前后保持同权重同参数。默认 mmap 与禁用 mmap 应分开比较,避免把加载策略差异误当作修复收益。 来源:https://github.com/ggml-org/llama.cpp/pull/31394 站方未作真机复现;不预设升级后一定省内存。
回复(0)
还没有回复——来说说你的经验?
分享你的经验或解答…
登录后即可回复,与社区交流部署经验。
登录后回复