← 新闻
运行时

llama.cpp 发布 v1.0.0:升级先查API与服务边界,不把版本号当速度保证

正式版移除旧公共API,加入FP8 KV缓存和MoE主机缓存参数,并收紧服务安全边界。这是发布事实,不是本站性能复现。

来源: llama.cpp 官方发布说明

llama.cpp 于2026年11月13日10:20 UTC发布 v1.0.0,落在本站本次24小时观察窗内。对本地部署者,更重要的不是“终于到1.0”,而是自己的绑定、启动脚本和服务访问方式是否仍兼容。以下依据官方发布说明整理,本站没有运行新版本性能对照。

第一,接入层要重新编译和检查。发布说明列出移除35个已弃用函数,并把NextN/投机解码接口提升到 llama.h;旧接口使用者不能只替换动态库就假定兼容。直接使用命令行和自己封装C接口,是两种不同的升级风险。

第二,权重量化和KV精度要分开记录。新版本加入OCP FP8 KV缓存,参数为 -ctk/-ctv f8_e4m3,并支持静态缩放。这改变的是注意力缓存的存储与计算条件,不等于把模型权重换成FP8,更不能据此承诺同一张卡必然更快、能力完全不变。显存、长上下文任务表现和速度需分别对照。

第三,MoE主机缓存增加CPU分担等控制;这类跨显存、内存运行的配置,不能拿“总权重除显存带宽”直接裁定速度真假。比较时至少固定模型文件、引擎构建、缓存策略、上下文、投机设置和并发,避免把新功能、不同设置及硬件变化混成一个加速结论。

第四,服务端收紧工具调用、私网媒体地址、CORS及DNS重绑定等边界。原有局域网集成若升级后被拒绝,应先核对安全选项,而不是为了恢复旧行为一次性放开所有限制。保留旧二进制和启动参数,在隔离端口验收文本、图像及工具链后再切换。正式发布说明证明功能已纳入该版本,不证明每台机器上的收益。

来源:https://github.com/ggml-org/llama.cpp/releases/tag/v1.0.0