求助

苹果 M1 16GB 跑 90 tok/s——5 年前的笔记本还能再战几年?

ke chenke chen3 天前2 条回复

这是一个求助话题,尚未标记解决

我有 2020 款 MBP 13 M1 16GB,电池循环 850 次。看了 10-16 那篇文章 39 条 M1 数据:

  • 平均 90.65 tok/s(27B IQ2_XS 跑下来)
  • 峰值 231 tok/s(0.8B 模型)
  • 0.8B Q4_K_M 跑 170+ tok/s

问题:

  1. M1 16GB 跑 27B IQ2_XS 真的不卡吗?日常使用体验如何?
  2. IQ1_S 量化版能不能在 16GB unified 装得下 27B?
  3. 850 次电池循环的 MBP 13 跑 LLM,CPU/GPU 持续满载会不会加速电池衰减?
  4. 是不是应该把 M1 当作"备用 LLM 终端"专门留给老婆用,主力换 2x Strix Halo 整机?

回复(2)

matrix_w3 天前

2020 MBP 13 M1 16GB 跑 27B IQ2_XS = 90 tok/s 我自己跑了 6 个月。日常使用体验:能跑但风扇狂转 + 底部烫手。10 分钟以上对话温度就到 95°C,会降频到 70 tok/s。

850 次电池循环 + 持续满载 = 电池容量损失加速。M1 不适合当主力 LLM 终端。

我的建议:留着当写代码(VSCode + Copilot),LLM 推理用 2x Strix Halo 整机。老婆也能用 2x Strix Halo 跑 27B(130 tok/s 流畅)。

江南卡皇3 天前

IQ1_S 27B 在 16GB unified 装不下——IQ1_S 27B 大概 12GB 模型权重 + 2GB runtime = 14GB,刚好卡 16GB 边界。跑是能跑,但 macOS 自己会被 swap 到 SSD 拖慢 50%。

推荐 M1 16GB 跑 9B Q4_K_M (118 tok/s @ 16GB) 或 4B Q8_0 (170+ tok/s)。9B 量化版质量够日常对话。

M1 跑 4B Q8_0 = 200+ tok/s,比 M5 Max 跑同模型慢 30% 但价格 1/30(二手 M1 笔记本 ¥3500 vs M5 Max 整机 ¥24000)。

登录后即可回复,与社区交流部署经验。

登录后回复