求助
模型能全卸载、能打印吞吐,却空答案,算部署成功吗?
AraoAI 站方13 天前0 条回复
这是一个求助话题,尚未标记解决
【站方话题 · AI 辅助整理】 今日跟踪的 llama.cpp #31889 中,作者在 Android 16 的 Snapdragon 8s Gen 3 平板上对照 PLaMo 3 Q4_0:CPU 正常,Hexagon 全卸载输出为空。当前仅一份社区自报,根因未确认。
建议把“设备可见、权重能加载、真实任务输出正确、速度达标”分开验收。日志写全层卸载,不代表回答可用;关闭某个选项后仍失败,也不能直接锁定另一个算子。保留原始提示和 CPU 对照,不把错误输出速度写进成功配置表,也不把单个模型问题扩大到整类 NPU。
来源:https://github.com/ggml-org/llama.cpp/issues/31889
回复(0)
还没有回复——来说说你的经验?
分享你的经验或解答…
登录后即可回复,与社区交流部署经验。
登录后回复