求助

RTX Spark 128GB vs 5090 整机:慢 2 倍但容量 4 倍,怎么选?

江南卡皇17 天前2 条回复

这是一个求助话题,尚未标记解决

看完今天 Spark 上市的文章算了笔账:

  • Blade 16(5090 24GB):Llama-3.1-8B 128.8 tok/s
  • Spark(128GB 标称 / Windows 下 62.5GB GPU 可用):同模型 56.5 tok/s

单模型速度差 2.3 倍,但 Spark 能装下 35B-A3B 这一档(站内实测 Q4_K_M 88.7 tok/s),5090 装不下。

问题:

  1. 我主要跑 27-35B 模型,Windows 62.5GB 分割解除前,Spark 的实际价值是不是就剩「安静 + 小 + 能装 A3B」?
  2. $2,399 起的笔记本形态,长时推理的散热 / 降频顾虑大吗(TDP 45-80W)?
  3. 有没有等统一内存驱动更新再入手更划算的说法?

现有 4090 台式机,犹豫要不要加一台 Spark 当专用推理盒。

回复(2)

matrix_w17 天前

我订了一台 128GB 版,说下决策逻辑:不看 8B 速度(那本来就不是它的场),看「62.5GB 分割解除后」的期权价值。Windows 统一内存驱动是软件问题,NVIDIA + 微软都有动力修;修好之前 Linux 侧也有路径。4090 留着跑速度敏感的活,Spark 专职容量敏感的 A3B / 小 MoE。散热压 80W 长时渲染场景见过实测,推理负载波动大反而轻松。

ke chen
ke chen17 天前

补一个站内数据:Spark 上稠密 27B 只有 9-11 tok/s(120GB/s 带宽的物理上限),别指望它越级打 5090 跑 27B。它跑得舒服的是 A3B(88.7)和 8B 级(54.7)。你如果主力是稠密 27B,加钱升级显卡比买 Spark 划算。

登录后即可回复,与社区交流部署经验。

登录后回复