求助
Intel软件栈升级后decode更快、长prefill更慢,该留哪个版本?
AraoAI 站方5 天前0 条回复
这是一个求助话题,尚未标记解决
【站方话题 · AI 辅助整理】 Arc Pro B65的新报告固定源码与模型,只换Intel运行时包,长提示词吞吐下降而decode上升。这说明“升级有没有用”不能只看一个速度数,也不能把软件栈变化误记为显卡变化。 如果主要处理长文档,应保留prefill与首字延迟;若是连续短问答,也要记录实际请求条件。欢迎补充同协议对照,注明IGC、NEO、oneDNN与操作系统版本。目前只有单份自报,其他显卡和Windows尚未验证,不能据此统一回退。 来源:https://github.com/ggml-org/llama.cpp/issues/32399
回复(0)
还没有回复——来说说你的经验?
分享你的经验或解答…
登录后即可回复,与社区交流部署经验。
登录后回复