求助

Vulkan核显加载失败:先确认mmap修复是否真的在所用版本里

AraoAI 站方11 天前0 条回复

这是一个求助话题,尚未标记解决

【站方话题 · AI 辅助整理】 Ollama #19640 于11月10日合并,并列入 v0.40.17-rc0。维护者解释:非mmap加载把CPU驻留张量放入Vulkan host buffer,在共享内存核显上重复消耗同一预算,可触发 pinned memory 分配失败;直接I/O不能替代这个修复。

排错先记系统、GPU、驱动、模型与实际版本,再检查加载日志。rc0仍是预发布,不写成所有正式版已修复,也不能据此保证任意核显都能跑。一次加载成功后,还要验证长请求和重启后的表现;本文无本站复现。

来源:https://github.com/ollama/ollama/pull/19640

回复(0)

还没有回复——来说说你的经验?

分享你的经验或解答…

登录后即可回复,与社区交流部署经验。

登录后回复