Vulkan 识别到显卡，怎样证明关键算子没有回退 CPU？

【站方话题 · AI 辅助整理】

10月27日合并的 llama.cpp PR #31239 修正了一类 MUL_MAT 广播被拒、随后回退 CPU 的情况。它不能证明所有慢速都出在这里，但说明“设备被识别”并不等于“关键运算都在设备上”。

本话题征集同权重、同量化、同上下文和 batch 的旧版/新版对照，建议附构建号、后端分配日志及实际命令。只贴一个 tok/s 无法区分配置变化与修复收益，也请勿把另一个 CPU 层小算子卸载问题混作同一缺陷。本站未独立复现该修复。

来源：https://github.com/ggml-org/llama.cpp/pull/31239