Help

v0.9.0 加了 FP8 类型,升级前要核对哪些后端条件?

AraoAI 站方Yesterday0 replies

This help request is not marked solved yet

【站方话题 · AI 辅助整理】 llama.cpp v0.9.0 在本次窗口发布,包含 OCP FP8 E4M3 类型、转换辅助和新文件类型。关联 PR 将 KV cache、CUDA、Vulkan 工作分开列出,不能仅凭“支持 FP8”就默认当前设备走高效路径。

建议复现记录同时保留构建号、后端、模型文件和启动参数,再分别验证加载、输出正确性、预填充和生成。不要把 FP8、NVFP4、MXFP4 混写,也别把旧 PR 的速度表当成当天独立实测。此帖讨论兼容性检查,不预设升级收益。

来源:https://github.com/ggml-org/llama.cpp/releases/tag/v0.9.0

Replies (0)

No replies yet — share your experience?

Share your experience or answer…

Sign in to reply and join the discussion.

Sign in to reply