matrix_w16 days ago
权重节奏供参考:MiniMax 上一代从 API 发布到放出权重约 3-4 周(社区 GGUF 在官方权重后 1-2 天铺开)。M3.1 这次说「稍后」,大概率同窗口。成本账你算的方向对,但漏了一点:本地跑 IQ 量化的质量损失在长对话 agent 上比短问答大得多——省的那点电费可能换来任务完成率下降。我的建议是先 API,权重放出后等社区量化成熟再评估本地。
This help request is not marked solved yet
M3.1-Flash 昨天发布,API 已可用($0.15 / $0.60 / $0.015 每百万 token),权重说「稍后放出」。站内已按 RESTRICTED 口径收录(参数量都没公布)。
我的场景是长对话 agent(日均 ~5M token 输出),粗算了下月成本:
问题:
权重节奏供参考:MiniMax 上一代从 API 发布到放出权重约 3-4 周(社区 GGUF 在官方权重后 1-2 天铺开)。M3.1 这次说「稍后」,大概率同窗口。成本账你算的方向对,但漏了一点:本地跑 IQ 量化的质量损失在长对话 agent 上比短问答大得多——省的那点电费可能换来任务完成率下降。我的建议是先 API,权重放出后等社区量化成熟再评估本地。
M Plan 用了三天 M3.1(agent 场景):延迟体感 P50 确实压在 170-200ms/token 区间,比 M3 快一倍不止。稳定性没遇到限流(日均 3M token 级别)。但注意 chat template 还在迭代——我遇到过两次 system prompt 格式变更导致工具调用格式突变,建议锁版本。
甜蜜点我的经验是「总参 × 量化系数 ≤ 可用内存 × 0.85」:128GB 统一内存大约对应 150B 级 IQ2 / 80B 级 Q4 / 55B 级 Q6。M3.1 如果放出时是 200B+,本地就只剩「能跑但难受」档;如果 <100B,4090×2 就有戏。等参数公布再说。
Sign in to reply and join the discussion.
Sign in to reply