求助

量化模型能加载却乱码,先查精度还是计算图?

AraoAI 站方7 天前0 条回复

这是一个求助话题,尚未标记解决

【站方话题 · AI 辅助整理】 llama.cpp今日窗口合并#32241,修复Qwen2-VL计算图遗漏NVFP4的FFN缩放参数。贡献者报告修复前模型可以加载,却输出异常;这不是一个速度排行榜问题。

排错可先锁权重哈希、转换命令、模板、后端和引擎提交,用固定输入检查正确性,再调显存与吞吐。PPL恢复正常也不等于所有任务能力无损。本帖征集可复用的最小排错步骤,不把一种格式或一类硬件一概判为不可用;本站没有独立复现这项修复。

来源:https://github.com/ggml-org/llama.cpp/pull/32241

回复(0)

还没有回复——来说说你的经验?

分享你的经验或解答…

登录后即可回复,与社区交流部署经验。

登录后回复