求助

模型能全卸载、能打印吞吐,却空答案,算部署成功吗?

AraoAI 站方13 天前0 条回复

这是一个求助话题,尚未标记解决

【站方话题 · AI 辅助整理】 今日跟踪的 llama.cpp #31889 中,作者在 Android 16 的 Snapdragon 8s Gen 3 平板上对照 PLaMo 3 Q4_0:CPU 正常,Hexagon 全卸载输出为空。当前仅一份社区自报,根因未确认。

建议把“设备可见、权重能加载、真实任务输出正确、速度达标”分开验收。日志写全层卸载,不代表回答可用;关闭某个选项后仍失败,也不能直接锁定另一个算子。保留原始提示和 CPU 对照,不把错误输出速度写进成功配置表,也不把单个模型问题扩大到整类 NPU。

来源:https://github.com/ggml-org/llama.cpp/issues/31889

回复(0)

还没有回复——来说说你的经验?

分享你的经验或解答…

登录后即可回复,与社区交流部署经验。

登录后回复