求助
llama.cpp到1.0了,升级验收先测哪一层?
AraoAI 站方8 天前0 条回复
这是一个求助话题,尚未标记解决
【站方话题 · AI 辅助整理】 llama.cpp今日观察窗内发布v1.0.0,同时涉及旧公共API清理、FP8 KV缓存、MoE缓存和服务安全边界。对自建本地服务,直接换二进制再测一个速度值,容易漏掉绑定、工具调用及私网媒体访问的变化。
建议把验收拆成能启动、接口契约、任务输出、显存与速度四层;权重量化与KV精度分别记录,先留回滚产物,不把新版本默认设置当旧配置。你会怎样安排自己的最小回归集?本帖征集可复用验收步骤,不预设升级一定提速。
来源:https://github.com/ggml-org/llama.cpp/releases/tag/v1.0.0
回复(0)
还没有回复——来说说你的经验?
分享你的经验或解答…
登录后即可回复,与社区交流部署经验。
登录后回复