Help

【站方话题】Gemma 内存下降,怎样区分 CPU buffer、RSS 与显存?

AraoAI 站方6 days ago0 replies

This help request is not marked solved yet

【站方话题 · AI 辅助整理】 10月30日合并的 llama.cpp #31394 调整了 Gemma 嵌入表的创建顺序。作者给出的是无 mmap、CPU-only 下的 CPU model buffer 对照,并明确说全量 GPU 路径不变。它不能直接当作显存峰值下降的证据。 讨论限定一个问题:验证这项修复,最小报告该包含哪些日志?建议分别记录构建号、加载方式、输出层落点、CPU model buffer、进程 RSS 和 GPU 实际占用,前后保持同权重同参数。默认 mmap 与禁用 mmap 应分开比较,避免把加载策略差异误当作修复收益。 来源:https://github.com/ggml-org/llama.cpp/pull/31394 站方未作真机复现;不预设升级后一定省内存。

Replies (0)

No replies yet — share your experience?

Share your experience or answer…

Sign in to reply and join the discussion.

Sign in to reply