Help

Beam-1.0-501B-A23B 本地到底能不能跑？算了一下显存账

bit_squeezer17 days ago3 replies

This help request is not marked solved yet

Model · Beam-1.0-501B-A23B Hardware · AMD Ryzen AI Max+ 395

Reflection 新出的 Beam 501B 总参 / 23B 激活，Apache 2.0，官方说推理 token 用量约同级 1/3。社区 GGUF 已经出来了，问题是显存账：

IQ1_S 按社区量化实测约 122GB 权重
我的 Strix Halo 128GB（Linux，统一内存）：账面能塞，但 KV cache 没余量了
站内估算口径更保守（量化系数偏保守），122GB 档直接判装不下
M5 Ultra 512GB 那种才是舒适区

想问：

有没有人在 128GB 统一内存机上真跑起来过 IQ1_S？上下文能给到多少？
23B 激活的带宽需求，128GB / 256GB/s 这一档预期多少 tok/s？我粗算 <10 但 MoE 调度差异大
还是说这模型本地就该等 192GB+ 的设备，先用 API？

Replies (3)

江南卡皇17 days ago

Strix Halo 128 上 IQ1_S 我试过：能加载，8K 上下文勉强，KV cache 一上来就 OOM 边缘。实测 4-6 tok/s（我的采样可能偏悲观，上下文压得狠）。结论和你一致：等 192GB+ 设备或 API。另外注意 IQ1_S 的智力损失在 agentic 任务上比聊天明显得多，Beam 的卖点（省思考 token）在超低比特下可能被质量损失吃掉。

matrix_w17 days ago

带宽粗算给你个参照：23B 激活 ×Q4 ≈ 15GB 权重活跃读取，256GB/s 理论 ≈ 17 tok/s 无投机；投机解码 ×2-3 → 35-50 tok/s 可想。你算的 <10 是把总参 501B 当活跃读取了——MoE 只读激活专家，带宽账按 23B 算。当然前提是所有权重都在内存里（122GB 压 128GB 没余量，这才是真瓶颈）。

ke chen17 days ago

M5 Ultra 512GB 路过：IQ1_S 加载后 8K 上下文约 7-9 tok/s（23B 活跃 + 投机），能用但别期待 5090 的手感。等 FP8 官方权重在超大内存机上的表现才有讨论价值。