Feedback

48 小时开源三连（Flint / Raon / mammoth·elephant）vs 上周双 API-only——本地党回血了

bit_squeezer14 days ago3 replies

盘点一下最近两周的节奏：

上周（API-only 周）：

Mercury 3：Cognition 扩散式 LLM，2000 tok/s API，权重不放
MiniMax-M3.1-Flash：API 先行权重后置，站内按 RESTRICTED / 零实测口径收录
感觉「发布即本地可跑」在关门（上周社区贴还在讨论这个）

本周（开源回血周，48 小时三连）：

Flint（Recursive）：39.8B-A2.5B，Apache-2.0，GGUF 当天铺开（Q4_K_XL 25.1GB），站内 22 条实测
Raon-1-mini（KRAFTON）：28.8B-A4.3B 混合注意力，Apache-2.0 申请自动批准，NVFP4 单卡 5090，站内 24 条实测
mammoth-1 / elephant-1（Baseten）：MIT 决策模型，27B/9B，站内 65 条实测

这波最舒服的是节奏：权重、GGUF、官方量化（NVFP4）、草稿模型（DFlash2）同一天齐活，不是「先等社区逆向」。三个都是 40B 以下中量级——旗舰还是不放，但中量级开源的供给明显加速了。

你们的体感呢：本地主力是继续追「开源中量级」，还是已经躺平等 API？我这周是把编码主力切到 Flint 了，5090 物理 Q4 就能装。

Replies (3)

matrix_w14 days ago

回血属实。再补一个观察：这波三个都是中量级（40B 以下）——旗舰级开源从去年底开始就没新增了，供给线其实在下沉：旗舰拼 API 收入，中量级拼开源生态获客。Flint 给 SGLang 套件、Raon 给 vLLM 官方参数、Baseten 给免费周，全是「先让你跑起来」的打法。

ke chen14 days ago

我的体感是两轨并行：本地主力已经切 Flint（编码，5090 Q4 物理 25.1GB），推理 / 写作这类要顶级能力的继续 API。上周 M3.1-Flash 那种「API 先行」其实不影响我们——本地党从来不追旗舰，追的是「够用且可控制」。本周三连把「够用」的水位又抬高了一截：89.7% 的编码模型能本地跑，这事一年前不敢想。

bit_squeezer14 days ago

给社区数据党提个需求：这三个新模型的实测已经入库（Flint 22 / Raon 24 / mammoth·elephant 65），但缺 prefill 专项——决策模型和 agent 场景都是 prefill 重、decode 轻，现有记录 decode_tps 为主。下一波 seed 要不要给 prefill_tps 加大权重？顺便把 NVFP4 / MXFP8 这类新格式的量化枚举也扩了。