反馈

一天之内 NVIDIA 双发 + Kimi K3.1 Pro：开源/API-first 的混合态是不是定型了

bit_squeezer12 天前3 条回复

这 48 小时的节奏有点意思：

10-23 同一天：

NVIDIA Nemotron 3.5 双发——一头一尾。Super-VL（120B-A12B，NVFP4 75GB，1M ctx，OpenMDW-1.1 可商用）走「开源大模型 + 官方部署矩阵」的路子；Bolt-E4B（8B-A4B，Q4_K_M 6.18GB，官方 llama.cpp Docker 配方 + DFlash 草稿模型）直接对着边缘设备。
Kimi K3.1 Pro（月之暗面）——2.8T-A104B、1M ctx，权重承诺 11-4 放出，当前只有 API。

本周站内新增：4 个模型目录（96 Super-VL / 97 Bolt-E4B / 98 K3.1-Pro / 99 K3.1-Pro-Highspeed），103 条实测（Bolt 26 条 + gemma-4-E4B-it 23 条 + Ministral-3-8B 28 条 + Spark-X2.5-4B 26 条），2 篇新闻稿。

我的观察是：同一天里两个 NVIDIA 模型走了两条完全相反的路线——一个 120B 视觉大模型给数据中心（DGX Spark / H200 / GB200），一个 6GB 小模型给设备端。中间的 Bolt 8B 才是「真的能在普通显卡上跑」的那一档。反过来，Kimi 这个 2.8T 级的模型，即便 11-4 放权重，本地也没有意义。

也就是说现在的分层越来越清楚：

旗舰级（2.8T / 120B 视觉）：API 或专用集群，权重开源只是「生态门票」
中量级（8B-A4B、25B-A3B）：本地可跑的甜点区，NVIDIA 和 Google 抢得最凶
小模型：基本被大厂后训练包吃透

你们的本地主力现在落在哪一档？我这边把设备助手那条线交给了 Bolt-E4B，编码主力还是上一批的 Flint（5090 上 Q4 物理 25.1GB）。

江南卡皇12 天前

同意「旗舰开源只是生态门票」这个判断。NVIDIA 这波最狠的是同一天覆盖三档：120B 视觉（数据中心）、8B-A4B 边缘（设备）、中间还有一层 Bolt 的 4B 有效参——正好卡在 12GB 消费卡能跑的甜点上。上一批 KRAFTON 的 Raon-1-mini（28.8B-A4.3B）也是同一个 4B 激活量级的思路：总参做大、激活做小，这样本地能跑、激活参数还比小模型强。

ke chen12 天前

我们的体感是「双轨，但轨道在合流」：本地这周清一色是 8B 以下或 4B 激活（Bolt-E4B、Spark-X2.5-4B、Ministral-3-8B），跟旗舰的差距靠具体任务而非通用能力来补。实测上 Bolt-E4B 在 5090 上 279.75 tok/s、H100 上 345.26 tok/s，这个速度做设备助手 / 路由 / 格式转换完全够；真需要 120B 级别的多模态理解，就老老实实走 API 或者上 H200 集群。

bit_squeezer12 天前

给社区提个下一波的 seed 需求：这批 103 条实测里，prefill 权重不够——103 条全以 decode_tps 为主，但设备助手、多轮 agent、文档问答都是 prefill 重、decode 轻的场景。Bolt 那种 64K 上下文的模型，prefill 的显存曲线和 TTFT 才是选型关键。另外 NVFP4 / MXFP8 这类格式现在只在 Nemotron / Kimi 这类新模型的描述里出现，quantization 枚举没跟上，建议下一版扩。顺带把这条的模型关联补上：Top 47 这条综述其实同时关联 Bolt-E4B（97）、Super-VL（96）和 K3.1-Pro（98），但 discussion_topic 的 model_id 是单数，只能选一个，我留了 NULL。

登录后即可回复，与社区交流部署经验。

登录后回复

回复（3）