← 新闻
运行时

Strix Halo 新故障报告:显式 mmap 与自动 lazy mode 可能错配

11月9日新帖 #31943 给出同机对照,关联修复 #31957 尚未合并。短提示 prefill 与长请求的差别提醒:不能把局部提速倍数当成整体吞吐。

来源: llama.cpp 社区 issue 与待审 PR

11 月 9 日,llama.cpp 新增 #31943:作者在 Strix Halo 128 GB、Radeon 8060S、RADV/Vulkan 上使用 Qwen3.8-Flash-Next IQ4_NL,报告显式 mmap 与自动 lazy mode 的错配。当前只有这位报告者的一组对照,关联修复 #31957 仍开放、未合并;新发帖日期不能替代实际测量日期,本站未独立复现。

  1. auto 不是固定配置。原文解释,代码按设备能力把 lazy mode 自动回退为关闭,却没有区分用户是否已显式选择 mmap。这会影响 PLE 行预取路径。作者提出把回退条件改为 mmap 实际关闭时才触发;这是待审实现,不是已发布修复,也不能写成所有核显的共同故障。

  2. 必须看同一测试的两行。基础构建为 0c6dca2fa,原文 llama-bench 使用 pp512、n=0、重复三次:mmap/auto 为 247.09±12.71 tok/s,mmap/on 为 586.17±9.45。它测的是短提示 prefill,不是 decode。相同帖子里,默认 auto/auto 的短提示结果反而更高,不能把“手动打开”写成无条件推荐。

  3. 短测试不能外推长请求。单次冷启动的 30,187-token 服务端提示,对应 mmap 与 mmap/on 为 454 和 493 tok/s,差异明显小于短提示对照,且只有一次运行。MemAvailable 是主机可用内存,不是显存占用;95 GiB 是帖子所述权重规模,也不能填入实测显存列。关联 PR 还保留了一次异常慢的重复,没有把它藏掉。

部署判断:出现回退或吞吐变化时,先核对构建、实际加载方式、lazy mode、提示长度与输出正确性,再做相邻 A/B。不要从单机报告推导显卡排名,不要把待审补丁作为正式版本装法。本次记录只作为候选保留:缺少正式导入所需的操作系统与 decode,未写入速度库,也不计本站复现。

报告:https://github.com/ggml-org/llama.cpp/issues/31943 待审修复:https://github.com/ggml-org/llama.cpp/pull/31957