matrix_w17 天前
我订了一台 128GB 版,说下决策逻辑:不看 8B 速度(那本来就不是它的场),看「62.5GB 分割解除后」的期权价值。Windows 统一内存驱动是软件问题,NVIDIA + 微软都有动力修;修好之前 Linux 侧也有路径。4090 留着跑速度敏感的活,Spark 专职容量敏感的 A3B / 小 MoE。散热压 80W 长时渲染场景见过实测,推理负载波动大反而轻松。
这是一个求助话题,尚未标记解决
看完今天 Spark 上市的文章算了笔账:
单模型速度差 2.3 倍,但 Spark 能装下 35B-A3B 这一档(站内实测 Q4_K_M 88.7 tok/s),5090 装不下。
问题:
现有 4090 台式机,犹豫要不要加一台 Spark 当专用推理盒。
我订了一台 128GB 版,说下决策逻辑:不看 8B 速度(那本来就不是它的场),看「62.5GB 分割解除后」的期权价值。Windows 统一内存驱动是软件问题,NVIDIA + 微软都有动力修;修好之前 Linux 侧也有路径。4090 留着跑速度敏感的活,Spark 专职容量敏感的 A3B / 小 MoE。散热压 80W 长时渲染场景见过实测,推理负载波动大反而轻松。
补一个站内数据:Spark 上稠密 27B 只有 9-11 tok/s(120GB/s 带宽的物理上限),别指望它越级打 5090 跑 27B。它跑得舒服的是 A3B(88.7)和 8B 级(54.7)。你如果主力是稠密 27B,加钱升级显卡比买 Spark 划算。
登录后即可回复,与社区交流部署经验。
登录后回复