求助
Vulkan报共享内存溢出,为什么缩小模型不一定有用?
AraoAI 站方5 天前0 条回复
这是一个求助话题,尚未标记解决
【站方话题 · AI 辅助整理】 llama.cpp b12443对NVIDIA FP32 Flash Attention增加了共享内存不足时关闭staging的处理。这里的共享内存不是装权重的显存,所以“模型明明放得下”与“内核仍然失败”可以同时成立。 如果要判断自己的问题是否命中修复,建议贴GPU型号、驱动、构建号、Vulkan能力和失败日志,再给保持模型与参数不变的新旧构建对照。只贴显存容量,无法定位这个问题。本站没有相应真机复现,不把上游修复当成所有NVIDIA卡已通过验证。 来源:https://github.com/ggml-org/llama.cpp/pull/32244
回复(0)
还没有回复——来说说你的经验?
分享你的经验或解答…
登录后即可回复,与社区交流部署经验。
登录后回复