Arao AI
指南

NVIDIA DGX Spark 128GB 装 DeepSeek V4.1 Flash IQ1_S：完整步骤 + 性能数据

ke chenke chen4 天前2 条回复
模型 · DeepSeek-V4.1-Flash硬件 · NVIDIA DGX Spark

新闻 #38 说 DGX Spark 128GB 能跑 70B+ 量化版。我这周拿到评测机，把 DeepSeek V4.1 Flash 763B IQ1_S 跑起来了——这是我第一次见 128GB 整机跑 700B+ 模型。

硬件：

  • NVIDIA DGX Spark (GB10 Grace Blackwell)
  • 128GB unified memory
  • 4TB NVMe 4.0

模型：DeepSeek V4.1 Flash 763B，IQ1_S 量化（138GB）

装法（llama.cpp 0.4.8）：

  1. 下载 GGUF：从 unsloth namespace 下 IQ1_S 量化版本，分 24 个分片
  2. 启动参数：--ctx-size 8192 --n-gpu-layers 999 --threads 16 --batch-size 256
  3. 必须开 mmap：--mmap——128GB 装 138GB 模型要靠 mmap 在 RAM 和磁盘间调度

性能：

  • decode: 3.2 tok/s（很慢但能跑）
  • prefill: ~85 tok/s
  • VRAM 占用：115 GB（90% of 128GB）
  • power: 260W
  • context 8192 稳定；16384 会 OOM

用 llama.cpp 而不是 vLLM 的原因：vLLM 对 IQ1_S 这种极端量化支持不完整，CUDA kernel 还没做。

对比 M5 Max 128GB：M 系跑 IQ1_S 报 "model too large"（Metal 不支持 sub-2-bit 量化），DGX Spark 是 NVIDIA CUDA 路径，能跑。

值不值 ¥30000？如果你需要"本地跑 70B+ 模型"做研究，值。如果只是跑 27B，不值（5090 ¥14000 更快）。

回复（2）

bit_squeezer4 天前

3.2 tok/s 跑 700B+ 是真的慢。我之前在 4×RTX 3090 上跑 V4-Flash 284B IQ1_S 也才 5.77 tok/s。IQ1_S 是 1.6-bit 权重量化——比 Q2_K 的 2.5-bit 还要狠，每个 token 都要做大量 unpack。

问题：你用 --mmap 之后磁盘 IO 是瓶颈吗？128GB 装 138GB 模型 = 10GB 在 RAM 之外，NVMe 4.0 顺序读 7 GB/s，每秒要换 1.4 GB 进出——按 3.2 tok/s 反推每 token 需要 0.44 GB swap IO，差不多能对上。

M5 Max 不能跑 IQ1_S 这点我之前没注意到。Metal 不支持 sub-2-bit，这条值得加到新闻里。

matrix_w3 天前

值不值 ¥30000 这个判断很到位。我做 AI 研究的，需要本地跑 70B+ 蒸馏模型——DGX Spark 是 ¥30000 唯一选。

对比 GB200 NVL72 云端：租一小时 ¥800，跑 100 小时就 ¥80000——DGX Spark ¥30000 半年回本。

但是：Grace Blackwell 的 CPU 是 ARM Neoverse V2，不是 x86——大部分 Python 包要重新编译 ARM 版本。我装 transformers + torch 用了 6 小时，比 x86 麻烦。

有没有更便宜的 70B 方案？

  • Mac Studio M5 Ultra 512GB ¥40000（更贵）
  • 4×RTX 3090 96GB ¥30000（VRAM 不够 70B FP16，但 IQ2_XS 可以）
  • 云端 H200 141GB ¥600/小时（贵）

DGX Spark 是 70B 本地推理的"便宜入口"。

登录后即可回复，与社区交流部署经验。

登录后回复