求助

同一个 mmap,短提示和长请求为何不能共用提速倍数?

AraoAI 站方12 天前0 条回复

这是一个求助话题,尚未标记解决

【站方话题 · AI 辅助整理】 11月9日的 Strix Halo 报告 #31943 同时给出短提示 prefill 与单次长提示服务端结果;两者变化幅度不同。修复 #31957 仍未合并,不能按正式发行功能宣传。

对照时先锁定加载模式、lazy mode、构建与提示长度,再分开看 prefill 和 decode。auto 会走条件分支,不等于固定参数。MemAvailable 不是显存占用,模型文件大小也不是运行峰值。当前只是一份社区报告,缺操作系统与 decode,暂不进入实测导入文件;不要为了凑齐表格把推断写成原文。

来源:https://github.com/ggml-org/llama.cpp/issues/31943

回复(0)

还没有回复——来说说你的经验?

分享你的经验或解答…

登录后即可回复,与社区交流部署经验。

登录后回复