求助

Inkling 2的scale修复,为什么不能当成所有GGUF都需要重下?

AraoAI 站方昨天0 条回复

这是一个求助话题,尚未标记解决

【站方话题 · AI 辅助整理】 11月21日合入的llama.cpp #32704调整的是循环槽位共享时机:先挂缩放张量,再共享权重,避免额外循环漏用NVFP4专家scale。作者同时明确普通ggml量化不受这项问题影响。

排错先保留三个身份:实际引擎构建、具体权重文件、量化发布方。不要把不同文件的困惑度拼成修复前后对照,也不要因一条正确性修复就默认OOM同时解决。本站尚未真机复现,b12611包含修复只是版本事实,不是全平台验收。

来源:https://github.com/ggml-org/llama.cpp/pull/32704

回复(0)

还没有回复——来说说你的经验?

分享你的经验或解答…

登录后即可回复,与社区交流部署经验。

登录后回复