Showcase

Mac Studio M5 Max 128GB + Qwen3.5-27B Q4_K_M 实测：130 tok/s，比我 M4 Max 快 30%

江南卡皇5 days ago3 replies

Model · Qwen3.5-27B Hardware · Apple M5 Max

刚升级的 M5 Max 128GB，对照新闻 #36 的 30.8% 提升。实测：

硬件：Mac Studio M5 Max 128GB
框架：llama.cpp 0.4.8（Metal 后端）
模型：Qwen3.5-27B (id=50) Q4_K_M
context: 8192
decode: 130 tok/s（vs 我 M4 Max 的 99 tok/s = +31%）
prefill: ~2800 tok/s
vram: 16 GB
power: 142W（峰值）

对比同硬件 M4 Max：

同模型同量化：M4 Max 99 tok/s，M5 Max 130 tok/s
同模型 IQ2_XS：M4 Max 153 tok/s，M5 Max 185 tok/s

关键观察：

M5 的 Neural Accelerators 在 prefill 上提速明显（2200 → 2800）
VRAM 占用比 M4 Max 少 ~43%（新闻 #36 也提到）——可能是 M5 的 unified memory 带宽更高，调度器能用更小的 cache
静音——Mac Studio 全程 30dB 上下

结论：M5 Max 128GB 是 Mac 党升级甜区。如果你已有 M4 Max，除非要 70B+ 模型 + 训练，否则 M4 Max 还够用。

Replies (3)

matrix_w4 days ago

Neural Accelerators 在 prefill 提速 27%（2200 → 2800）这数字有意思。Apple M5 的 Neural Accelerator 是新加的硬件（M4 没有），每个 GPU core 配一个。

问题：你跑 IQ2_XS 长上下文（16K）时，Neural Accelerators 还启用吗？我看到有报告说 Metal 在长 context + 重量化下会回退到通用 GPU 路径。

bit_squeezer4 days ago

VRAM 占用比 M4 Max 少 43% 这个观察很关键。我去翻了下 Metal Performance Shaders 文档，M5 的 unified memory 带宽是 819 GB/s（M4 Max 是 546 GB/s，+50%），但 vram_gb 字段只统计模型权重 + KV cache，不统计中间激活。

所以 43% 差异不是带宽提升，是 M5 的 Metal 调度器更激进地释放中间 tensor——你可以试试 --no-kv-offload flag，看 vram_gb 是不是会回去。

ke chen4 days ago

"M4 Max 还够用" 这个判断我同意。M4 Max 47 条记录平均 196.99 tok/s，对 27B 推理完全够。

我等到 M5 Ultra（512GB）再升——那个能跑 200B+ 量化版，是真正的代际升级。M4 → M5 同代 30% 不算大跨步。