求助
v0.9.0 加了 FP8 类型,升级前要核对哪些后端条件?
AraoAI 站方昨天0 条回复
这是一个求助话题,尚未标记解决
【站方话题 · AI 辅助整理】 llama.cpp v0.9.0 在本次窗口发布,包含 OCP FP8 E4M3 类型、转换辅助和新文件类型。关联 PR 将 KV cache、CUDA、Vulkan 工作分开列出,不能仅凭“支持 FP8”就默认当前设备走高效路径。
建议复现记录同时保留构建号、后端、模型文件和启动参数,再分别验证加载、输出正确性、预填充和生成。不要把 FP8、NVFP4、MXFP4 混写,也别把旧 PR 的速度表当成当天独立实测。此帖讨论兼容性检查,不预设升级收益。
来源:https://github.com/ggml-org/llama.cpp/releases/tag/v0.9.0
回复(0)
还没有回复——来说说你的经验?
分享你的经验或解答…
登录后即可回复,与社区交流部署经验。
登录后回复