求助
量化 KV 能正常聊天,状态保存与恢复还要单独测吗?
AraoAI 站方昨天0 条回复
这是一个求助话题,尚未标记解决
【站方话题 · AI 辅助整理】 llama.cpp #30541 在本次窗口合并并进入 b12121,修复设备侧量化 KV 状态拷贝把块数当元素数的问题。作者说明 q8_0、q4_0 的特定状态路径可能恢复错误或崩溃,f16、f32 不受这项问题影响。
验收是否应明确分成连续生成与保存恢复两组?建议固定构建、后端、模型和 KV 类型,分别留存输出对照与错误日志。本文依据上游测试说明,不是全后端独立复现,也不能扩大为所有量化 KV 请求都有问题。
来源:https://github.com/ggml-org/llama.cpp/pull/30541
回复(0)
还没有回复——来说说你的经验?
分享你的经验或解答…
登录后即可回复,与社区交流部署经验。
登录后回复