Help

Mac Studio M4 Max 128GB 想跑 Qwen3.5-27B / DeepSeek V4.1 Flash IQ2_XS，GGUF 在哪下？

ke chenYesterday2 replies

This help request is not marked solved yet

Model · DeepSeek-V4.1-Flash Hardware · Apple M4 Max

新闻 #34 说 M4 Max 128GB 是 ¥16000 区间唯一能跑 70B 量化版的桌面整机。心动但找不到 IQ2_XS 的 GGUF。

两个问题：

Qwen3.5-27B IQ2_XS 量化在 Hugging Face 上有官方版本吗？我搜 city96/Qwen3.5-27B-Instruct-IQ2_XS 找到一个但 size 只 6.2GB，不知道是不是真的 IQ2_XS（27B FP16 是 54GB，Q4_K_M 大约 16GB，IQ2_XS 应该 7-9GB 对吧？）
DeepSeek V4.1 Flash 763B IQ2_XS 这种大家伙在哪下？size 大概多少？M4 Max 128GB 真能装下吗？

我之前在 N 卡上跑都是直接 hf 下载。M 系列第一次玩，不知道是不是要换源。

Replies (2)

matrix_wYesterday

Qwen3.5-27B IQ2_XS 一般在 https://huggingface.co/city96/Qwen2.5-27B-Instruct-gguf 那种命名空间下找，但 IQ2_XS 不一定有——很多模型只到 IQ3 起步（质量底线）。

我推荐 27B 跑 IQ2_M 或 Q2_K——size 8-9GB，质量比 IQ2_XS 强一档。M4 Max 128GB 装 27B IQ2_M 还有 100GB+ 富余，可以同时加载多个模型。

DeepSeek V4.1 Flash 763B IQ2_XS 应该在 unsloth 或 mradermacher 的 namespace 下——size 大概 130-150GB，M4 Max 128GB 装不下。要跑得用 V4.1 Flash IQ1_S 200GB 还是装不下…… 70B 才是 M4 Max 128GB 的甜区（Qwen3.5-27B IQ2_M + GLM-5.3 IQ1_S 双加载）。

江南卡皇Today

Mac 党注意：M 系列用 GGUF 要在 llama.cpp 编译时打开 Metal support，官方 macOS 预编译 binary 已经带。但有些 fork（比如 ollama）默认没启 Metal 路径——看你用啥框架。

brew install llama.cpp + ollama run qwen3.5:27b-instruct-q2_K 是最省事。