llama.cpp v0.9.0 发布:FP8 类型与音频接口扩展,不等于所有设备自动提速
本次窗口内发布的 v0.9.0 汇总 FP8 E4M3、多模态和后端更新。版本发布是真正的新事件,所含功能并非都在当天首次合并;支持格式、后端可用与实际收益仍须分别核验。
llama.cpp 于 11 月 4 日 13:08 UTC 发布 v0.9.0,对应发布页列出的 nightly 构建为 b12110。这次新增的是一个正式版本节点,不是所有变更都在今天首次出现。对于本地部署,值得先看格式和接口的适用边界,而不是直接把更新说明当成速度承诺。
-
FP8 支持具体到类型。发布说明列出 OCP FP8 E4M3 的饱和模式、转换辅助与新的模型文件类型。关联 PR 也明确把 KV cache、CUDA 和 Vulkan 工作拆在不同变更里。因此,“能识别一种 FP8 表示”与“你的后端已有完整高效路径”不能画等号,更不能把不同 FP8、NVFP4 和 MXFP4 混成同一种精度。
-
音频接口扩展有可核对的落点。版本纳入 Chatterbox TTS、Nemotron 3.5 Transcribe 及 Pocket TTS 预定义声音支持,并列出相关 mtmd API。服务端 GET /props 可报告模型预定义声音,TTS 端点接受对应名称。它说明接口能力进入版本,不代表所有音频模型使用同一调用方式,也不替模型权重或商用许可证作保证。
-
升级要同时固定运行条件。发布页还列出 LFM3 NVFP4 GGUF、张量拆分和多个后端优化,但没有给出适用于所有设备的统一收益。本次没有 AraoAI 独立实测,本文不搬用旧 PR 的吞吐表作为当天新跑分,也不把预填充优化解释成每个 token 的生成都会同比加速。
已有可用环境,先保留旧二进制、启动参数和模型文件身份,再以同一提示词及输出长度检查加载、输出正确性、首 token 延迟和生成速度。需要音频功能的用户还应核对声音列表及输入输出约定。版本号只证明用了哪份实现,不能代替该配置跑通的证据。