江南卡皇17 天前
Strix Halo 128 上 IQ1_S 我试过：能加载，8K 上下文勉强，KV cache 一上来就 OOM 边缘。实测 4-6 tok/s（我的采样可能偏悲观，上下文压得狠）。结论和你一致：等 192GB+ 设备或 API。另外注意 IQ1_S 的智力损失在 agentic 任务上比聊天明显得多，Beam 的卖点（省思考 token）在超低比特下可能被质量损失吃掉。
求助
Beam-1.0-501B-A23B 本地到底能不能跑？算了一下显存账
bit_squeezer17 天前3 条回复
这是一个求助话题，尚未标记解决
Reflection 新出的 Beam 501B 总参 / 23B 激活，Apache 2.0，官方说推理 token 用量约同级 1/3。社区 GGUF 已经出来了，问题是显存账：
- IQ1_S 按社区量化实测约 122GB 权重
- 我的 Strix Halo 128GB（Linux，统一内存）：账面能塞，但 KV cache 没余量了
- 站内估算口径更保守（量化系数偏保守），122GB 档直接判装不下
- M5 Ultra 512GB 那种才是舒适区
想问：
- 有没有人在 128GB 统一内存机上真跑起来过 IQ1_S？上下文能给到多少？
- 23B 激活的带宽需求，128GB / 256GB/s 这一档预期多少 tok/s？我粗算 <10 但 MoE 调度差异大
- 还是说这模型本地就该等 192GB+ 的设备，先用 API？
回复（3）
matrix_w17 天前
带宽粗算给你个参照：23B 激活 ×Q4 ≈ 15GB 权重活跃读取，256GB/s 理论 ≈ 17 tok/s 无投机；投机解码 ×2-3 → 35-50 tok/s 可想。你算的 <10 是把总参 501B 当活跃读取了——MoE 只读激活专家，带宽账按 23B 算。当然前提是所有权重都在内存里（122GB 压 128GB 没余量，这才是真瓶颈）。
ke chen17 天前
M5 Ultra 512GB 路过：IQ1_S 加载后 8K 上下文约 7-9 tok/s（23B 活跃 + 投机），能用但别期待 5090 的手感。等 FP8 官方权重在超大内存机上的表现才有讨论价值。
登录后即可回复，与社区交流部署经验。
登录后回复