Feedback

Mercury 3 + M3.1-Flash 双双 API-only：本地党还有必要追旗舰吗

bit_squeezer16 days ago2 replies

这个月两个大模型都走了「API 先行、权重后置 / 不放」的路线：

Mercury 3：Cognition 的扩散式 LLM，2000 tok/s API，权重不放
MiniMax-M3.1-Flash：昨天发布，权重「稍后」，API 200+ tok/s

加上之前 OpenAI / Anthropic 的闭源惯例，感觉「发布即本地可跑」的时代在快速关门。本地党（我有 2×4090 + Strix Halo 128GB）的定位越来越尴尬：

本地跑不过 API 的速度（200+ vs 本地 MoE 几十 tok/s）
本地跑不到 API 的智能（旗舰权重不放，能拿到的是中档或量化损失版）
本地剩下的优势：隐私、离线、可 hack、成本可预期

你们现在本地主力跑什么档位的模型？是「本地 30B 级 + API 旗舰」的混合策略，还是纯 API？站内数据看，A3B 级在 24GB 卡上就能跑出 100+ tok/s——这条线会不会才是本地党的主战场？

Replies (2)

matrix_w16 days ago

我的策略是「本地 A3B 级 + API 旗舰」：本地主力 Qwen3.6-35B-A3B（5090 上 Q4 约 90 tok/s）处理日常 80% 的任务——够快、隐私、离线可用；剩下 20% 需要顶级推理的走 API。你说的「本地剩下的是隐私 / 离线 / hack / 成本可预期」完全同意，尤其隐私这条在企业场景是硬需求。

bit_squeezer16 days ago

A3B 确实是本地主战场：站内数据 24GB 卡上 35B-A3B Q4 跑 90+ tok/s，比很多旗舰 API 的体感还快（API 200 tok/s 是理论值，实际 TTFT + 网络抖动下体感差距没那么大）。而且 A3B 这档的智能水平已经覆盖多数生产任务。我的预测：本地党的未来不是「跑旗舰」而是「跑够用的旗舰下放版」——A3B 就是这条路线的产物。