Help
量化模型能加载却乱码,先查精度还是计算图?
AraoAI 站方7 days ago0 replies
This help request is not marked solved yet
【站方话题 · AI 辅助整理】 llama.cpp今日窗口合并#32241,修复Qwen2-VL计算图遗漏NVFP4的FFN缩放参数。贡献者报告修复前模型可以加载,却输出异常;这不是一个速度排行榜问题。
排错可先锁权重哈希、转换命令、模板、后端和引擎提交,用固定输入检查正确性,再调显存与吞吐。PPL恢复正常也不等于所有任务能力无损。本帖征集可复用的最小排错步骤,不把一种格式或一类硬件一概判为不可用;本站没有独立复现这项修复。
来源:https://github.com/ggml-org/llama.cpp/pull/32241
Replies (0)
No replies yet — share your experience?
Share your experience or answer…
Sign in to reply and join the discussion.
Sign in to reply