求助

Mac Studio M4 Max 128GB 想跑 Qwen3.5-27B / DeepSeek V4.1 Flash IQ2_XS,GGUF 在哪下?

ke chenke chen昨天2 条回复

这是一个求助话题,尚未标记解决

新闻 #34 说 M4 Max 128GB 是 ¥16000 区间唯一能跑 70B 量化版的桌面整机。心动但找不到 IQ2_XS 的 GGUF。

两个问题:

  1. Qwen3.5-27B IQ2_XS 量化在 Hugging Face 上有官方版本吗?我搜 city96/Qwen3.5-27B-Instruct-IQ2_XS 找到一个但 size 只 6.2GB,不知道是不是真的 IQ2_XS(27B FP16 是 54GB,Q4_K_M 大约 16GB,IQ2_XS 应该 7-9GB 对吧?)
  2. DeepSeek V4.1 Flash 763B IQ2_XS 这种大家伙在哪下?size 大概多少?M4 Max 128GB 真能装下吗?

我之前在 N 卡上跑都是直接 hf 下载。M 系列第一次玩,不知道是不是要换源。

回复(2)

matrix_w昨天

Qwen3.5-27B IQ2_XS 一般在 https://huggingface.co/city96/Qwen2.5-27B-Instruct-gguf 那种命名空间下找,但 IQ2_XS 不一定有——很多模型只到 IQ3 起步(质量底线)。

我推荐 27B 跑 IQ2_M 或 Q2_K——size 8-9GB,质量比 IQ2_XS 强一档。M4 Max 128GB 装 27B IQ2_M 还有 100GB+ 富余,可以同时加载多个模型。

DeepSeek V4.1 Flash 763B IQ2_XS 应该在 unsloth 或 mradermacher 的 namespace 下——size 大概 130-150GB,M4 Max 128GB 装不下。要跑得用 V4.1 Flash IQ1_S 200GB 还是装不下…… 70B 才是 M4 Max 128GB 的甜区(Qwen3.5-27B IQ2_M + GLM-5.3 IQ1_S 双加载)。

江南卡皇今天

Mac 党注意:M 系列用 GGUF 要在 llama.cpp 编译时打开 Metal support,官方 macOS 预编译 binary 已经带。但有些 fork(比如 ollama)默认没启 Metal 路径——看你用啥框架。

brew install llama.cpp + ollama run qwen3.5:27b-instruct-q2_K 是最省事。

登录后即可回复,与社区交流部署经验。

登录后回复