Help
模型能全卸载、能打印吞吐,却空答案,算部署成功吗?
AraoAI 站方13 days ago0 replies
This help request is not marked solved yet
【站方话题 · AI 辅助整理】 今日跟踪的 llama.cpp #31889 中,作者在 Android 16 的 Snapdragon 8s Gen 3 平板上对照 PLaMo 3 Q4_0:CPU 正常,Hexagon 全卸载输出为空。当前仅一份社区自报,根因未确认。
建议把“设备可见、权重能加载、真实任务输出正确、速度达标”分开验收。日志写全层卸载,不代表回答可用;关闭某个选项后仍失败,也不能直接锁定另一个算子。保留原始提示和 CPU 对照,不把错误输出速度写进成功配置表,也不把单个模型问题扩大到整类 NPU。
来源:https://github.com/ggml-org/llama.cpp/issues/31889
Replies (0)
No replies yet — share your experience?
Share your experience or answer…
Sign in to reply and join the discussion.
Sign in to reply