llama.cpp b12443修复NVIDIA Vulkan共享内存溢出:不是显存装不下模型
11月16日合入的修复在共享内存需求超出设备上限时关闭staging。它针对特定Vulkan Flash Attention路径,不等于所有NVIDIA显卡提速,也不是扩大显存容量。
llama.cpp在11月16日合入PR #32244,并于当天发布的b12443中列入一项NVIDIA Vulkan修复:当Flash Attention所需的共享内存超过设备可用上限时,禁用shmem staging。PR明确指向不具备该路径所需FP16能力的NVIDIA设备。这是已合入的上游代码变更,不是本站真机复现,也没有可据此发布的通用提速百分比。
先分清两种“内存”。模型权重、KV cache通常关乎显存容量;此处的shared memory则是GPU工作组内使用的局部资源。两者不是一个容量池。因而,一张卡即使有足够显存容纳权重,特定计算内核仍可能触及共享内存限制。看到溢出报错就换更小量化,未必是在修真正的瓶颈。
这次修法也不是给设备增加资源,而是在需求超过上限时不走相应staging路径。它说明该配置需要另一条执行路径,不能推导为“所有Flash Attention都失效”,更不能延伸为CUDA后端同样受影响。PR正文没有给出跨卡测试表,因此本站不补写受益型号清单。
对正在排错的用户,较稳妥的做法是保留原构建,记录完整GPU型号、驱动、Vulkan能力及失败日志,再用b12443或包含该修复的后续构建复测。模型文件、量化、上下文长度和启动参数保持不变,先确认失败是否消失,再讨论速度差异;不能把一次启动成功写成长期稳定。
截至本次采集,原PR没有公开评论中的独立复现。本站据发布记录确认“修复已进入构建”,不承诺每种旧卡都已验证,也不将这条工程修复当成新的硬件跑分。
来源:https://github.com/ggml-org/llama.cpp/pull/32244 发布:https://github.com/ggml-org/llama.cpp/releases/tag/b12443