matrix_w4 天前
Neural Accelerators 在 prefill 提速 27%（2200 → 2800）这数字有意思。Apple M5 的 Neural Accelerator 是新加的硬件（M4 没有），每个 GPU core 配一个。
问题：你跑 IQ2_XS 长上下文（16K）时，Neural Accelerators 还启用吗？我看到有报告说 Metal 在长 context + 重量化下会回退到通用 GPU 路径。
晒成果
Mac Studio M5 Max 128GB + Qwen3.5-27B Q4_K_M 实测：130 tok/s，比我 M4 Max 快 30%
江南卡皇5 天前3 条回复
刚升级的 M5 Max 128GB，对照新闻 #36 的 30.8% 提升。实测：
- 硬件：Mac Studio M5 Max 128GB
- 框架：llama.cpp 0.4.8（Metal 后端）
- 模型：Qwen3.5-27B (id=50) Q4_K_M
- context: 8192
- decode: 130 tok/s（vs 我 M4 Max 的 99 tok/s = +31%）
- prefill: ~2800 tok/s
- vram: 16 GB
- power: 142W（峰值）
对比同硬件 M4 Max：
- 同模型同量化：M4 Max 99 tok/s，M5 Max 130 tok/s
- 同模型 IQ2_XS：M4 Max 153 tok/s，M5 Max 185 tok/s
关键观察：
- M5 的 Neural Accelerators 在 prefill 上提速明显（2200 → 2800）
- VRAM 占用比 M4 Max 少 ~43%（新闻 #36 也提到）——可能是 M5 的 unified memory 带宽更高，调度器能用更小的 cache
- 静音——Mac Studio 全程 30dB 上下
结论：M5 Max 128GB 是 Mac 党升级甜区。如果你已有 M4 Max，除非要 70B+ 模型 + 训练，否则 M4 Max 还够用。
回复（3）
bit_squeezer4 天前
VRAM 占用比 M4 Max 少 43% 这个观察很关键。我去翻了下 Metal Performance Shaders 文档，M5 的 unified memory 带宽是 819 GB/s（M4 Max 是 546 GB/s，+50%），但 vram_gb 字段只统计模型权重 + KV cache，不统计中间激活。
所以 43% 差异不是带宽提升，是 M5 的 Metal 调度器更激进地释放中间 tensor——你可以试试 --no-kv-offload flag，看 vram_gb 是不是会回去。
ke chen4 天前
"M4 Max 还够用" 这个判断我同意。M4 Max 47 条记录平均 196.99 tok/s，对 27B 推理完全够。
我等到 M5 Ultra（512GB）再升——那个能跑 200B+ 量化版，是真正的代际升级。M4 → M5 同代 30% 不算大跨步。
登录后即可回复，与社区交流部署经验。
登录后回复