← 新闻
动态

Recursive 发布 Flint:39.8B-A2.5B 编码 MoE,SWE-bench Pro v2 拿下 89.7%

10 月 21 日 Recursive 开源 Flint(Apache-2.0)——39.8B 总参、每 token 约 2.5B 激活的编码 agent 专用 MoE。发布评测:Terminal-Bench 2.1 54.9%、SWE-bench Pro v2 89.7%、SWE-bench Verified 74.2%。49 层里 35 层滑动窗口(513 token),社区 GGUF Q4_K_XL 25.1GB。TechCrunch/WIRED 报道称主体由 AI 在不到 4 个月内构建。站内已收录并新增 22 条实测。

来源: araoai

Recursive 发布 Flint:39.8B-A2.5B 编码 MoE,SWE-bench Pro v2 拿下 89.7%

10 月 21 日,推理基础设施公司 Recursive 开源了 Flint(Apache-2.0)——一个专为编码 agent 设计的 MoE:39.8B 总参,每 token 只激活约 2.5B(含输出头;纯 body 约 2.2B,官方记号 40B-A2.5B)。同日 TechCrunch 与 WIRED 的报道给出一个更抓眼球的注脚:这个模型的主体由 AI 在不到 4 个月内构建完成。

发布评测(Recursive 自测口径)

基准 得分
Terminal-Bench 2.1 54.9%
SWE-bench Pro v2 89.7%
SWE-bench Verified 74.2%

口径注意:温度 1.0 / top-p 0.95,agentic 分数为 ≥5 次 pass@1 均值;Terminal-Bench 用 Terminus 2、SWE-bench 用 mini-swe-agent。Recursive 明确说明其 Terminal-Bench 口径把「靠网页检索抄到解法」计为失败——各家开发者自报分数未必做了同样的修正,横向比较要留个心眼。

架构:滑窗为主的 49 层

  • 49 层 = 2 层稠密 + 47 层 MoE;256 路由专家选 6 + 常驻共享专家
  • 注意力 35 层滑动窗口(513 token:当前 + 前 512)+ 14 层全注意力;全注意力层不加位置编码,滑窗层用 RoPE
  • 每头 QK RMSNorm + attention sink——长上下文稳定性的常规组合
  • 上下文 262,144 token,词表 150,144,训练截止 2026-06
  • BF16 权重约 80GB,官方提供 B300/H200 的 SGLang 服务套件

滑窗为主的设计是「编码 agent」定位的直接产物:代码库检索 / 修复循环里大量前缀可复用,513 token 窗口把 KV 压到极小,注意力开销让位给专家带宽。

社区 GGUF(unsloth,10-21 已铺开)

量化 文件大小
UD-IQ1_M 11.4 GB
UD-Q2_K_XL 13.6 GB
UD-Q3_K_XL 18.5 GB
UD-Q4_K_XL 25.1 GB
UD-Q5_K_XL 29.9 GB
UD-Q6_K_XL 36.3 GB
Q8_0 42.3 GB

Q4_K_XL 25.1GB 意味着单张 32GB 的 5090 就装得下 40B 级编码模型——物理上成立;不过站内显存口径是保守加 padding 的公式(含 KV/运行时余量),本波实测主要落在 ≥60GB 级硬件上。

站内收录

Flint-40B-A2.5B(id 92)已入库,新增 22 条 L2 实测(llama.cpp / vLLM / Ollama / Strata),全池均值 156.2 tok/s:

硬件 量化 实测
RTX PRO 6000 96GB Q3_K_S 343.5 tok/s
H100 IQ2_M 326.0 tok/s
M5 Ultra IQ1_S / Q2_K 324.8 / 230.7 tok/s
RTX Spark(116 GiB Linux 池) Q4_K_M 70-76 tok/s
Strix Halo 128GB Q4_K_S 63.8 tok/s

A2.5B 激活让它成为本批最快的模型之一——MoE 解码在带宽账上只读激活专家,2.5B 激活比同门 40B 稠密快一个数量级。