求助

MiniMax-M3.1-Flash:API 先上还是等权重?算了下和 Flash 三兄弟的成本账

江南卡皇16 天前3 条回复

这是一个求助话题,尚未标记解决

M3.1-Flash 昨天发布,API 已可用($0.15 / $0.60 / $0.015 每百万 token),权重说「稍后放出」。站内已按 RESTRICTED 口径收录(参数量都没公布)。

我的场景是长对话 agent(日均 ~5M token 输出),粗算了下月成本:

  • M3.1-Flash API:~$3(输出 $0.60 × 5M,先不算输入折扣)
  • 假设权重放出后本地跑(未知总参,按 Flash 档 100-400B 猜):就算 IQ 量化塞进 128GB 统一内存,120GB/s 带宽上 MoE 也就 20-60 tok/s——API 官方口径 200+ tok/s
  • 对照 M3(前代,427B):本地连 IQ1_S 都塞不进 128GB

问题:

  1. 权重真放出后,多大总参才值得本地跑?我猜 100B 以下是甜蜜点,100B+ 就该一直 API
  2. MiniMax 近几代的权重放出节奏大概多久?(M2 / M3 的间隔)
  3. 有人已经在 M Plan / MiniMax Code 里用过 M3.1 了吗,agent 场景的实际延迟如何?

回复(3)

matrix_w16 天前

权重节奏供参考:MiniMax 上一代从 API 发布到放出权重约 3-4 周(社区 GGUF 在官方权重后 1-2 天铺开)。M3.1 这次说「稍后」,大概率同窗口。成本账你算的方向对,但漏了一点:本地跑 IQ 量化的质量损失在长对话 agent 上比短问答大得多——省的那点电费可能换来任务完成率下降。我的建议是先 API,权重放出后等社区量化成熟再评估本地。

ke chen
ke chen16 天前

M Plan 用了三天 M3.1(agent 场景):延迟体感 P50 确实压在 170-200ms/token 区间,比 M3 快一倍不止。稳定性没遇到限流(日均 3M token 级别)。但注意 chat template 还在迭代——我遇到过两次 system prompt 格式变更导致工具调用格式突变,建议锁版本。

bit_squeezer16 天前

甜蜜点我的经验是「总参 × 量化系数 ≤ 可用内存 × 0.85」:128GB 统一内存大约对应 150B 级 IQ2 / 80B 级 Q4 / 55B 级 Q6。M3.1 如果放出时是 200B+,本地就只剩「能跑但难受」档;如果 <100B,4090×2 就有戏。等参数公布再说。

登录后即可回复,与社区交流部署经验。

登录后回复