NVIDIA 同日双发 Nemotron 3.5：120B-A12B 的 Super VL 与 6GB 边缘模型 Bolt

10 月 23 日，NVIDIA 一天之内放出两个 Nemotron 3.5 模型——一头一尾：一个是能吃视频、能做工具调用、1M 上下文的 120B 视觉语言大模型；另一个是 6GB 出头的边缘小模型，专攻设备侧语音助手。

Super-VL-120B-A12B-NVFP4

120B 总参 / 12B 激活的视觉语言 MoE，本次发布的是 NVFP4 量化版（由 BF16 版做量化感知蒸馏而来）。架构是交错的 Mamba-2 + Transformer 混合注意力 + MoE，配 C-RADIO 视觉编码器和视觉-语言连接器；上下文最长 1,000,000 token。

几个工程细节值得记：

• 原生 MTP 投机解码：官方配 LiLiCorr 草稿模型，每步 7 个投机 token；vLLM 侧用 --speculative_config.method dflash
• 推理档位可调：off / on (medium) / on，走 chat template 控制，medium 档省 token 但可能掉准确率
• 部署目标：1× DGX Spark (GB10)、1× RTX PRO 6000、1× H200、2× H100、1× GB200；官方 vLLM 命令行还带 --mamba-backend flashinfer、--video-pruning-rate 0.5、--media-io-kwargs 视频 fps 2 / 256 帧
• 权重实测 75.0GB（HF 仓库 88 个 safetensors 分片相加）

量化几乎不掉点（NVFP4 / BF16）：

基准	NVFP4	BF16
GPQA-Diamond	89.90	89.52
Terminal-Bench 2.1	62.78	60.67
SWE-bench Verified	71.07	71.10
SWE-bench Pro	51.30	51.78
tau2-bench retail	69.30	69.24
tau2-bench airline	75.75	76.50
Video-MME v2	32.54	32.85
OSWorld-Verified	52.3	51.14
AA-Omniscience index	5.3	4.03
GDPval-AA v2	1206	1211

许可为 OpenMDW-1.1，可商用。

站内口径：已收录 NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4（id 96），零实测记录——原因和上次 RTX Spark 那篇一样是两本账：物理上 75GB 的 NVFP4 权重能塞进 96GB 的 PRO 6000，但站内是保守 padding 口径（120B × NVFP4 需要 180GB 以上的账），96GB 级显卡判不出 fit。真要跑，请按 NVIDIA 的部署清单来。

Bolt-E4B-4GB：6.18GB 的边缘小模型

另一个方向：NVIDIA-Nemotron-3.5-Bolt-E4B-4GB——底座是 Google Gemma-4-E4B-it（Apache-2.0），NVIDIA 用 nemotron-post-training-v3 数据后训练，8B 总参 / 4B 有效参，后训练数据截止 2026-05。

• Q4_K_M GGUF 实测 6.18GB（仓库名里的「4GB」指 4B 有效参数量级，不是文件大小）
• llama.cpp 官方配方：ghcr.io/ggml-org/llama.cpp:server-cuda13-b11459，-c 65536、--jinja，另配 DFlash 草稿模型做投机解码（--spec-type draft-dflash --spec-draft-n-max 7）
• 上下文输入/输出各 64K，支持 36 种语言
• chat template 控制 thinking 模式与 conversational 模式，thinking 预算可调
• 定位明确：本地语音与设备助手、交互人设、边缘嵌入式

官方 Q4_K_M 口径的基准（对照 Gemma-4-E4B-it 与 Qwen3.5-4B 的 Q4_K_M）：

基准	Bolt-E4B	Gemma-4-E4B-it	Qwen3.5-4B
MultiChallenge	55.60	39.36	52.23
RoleBench	71.21	60.51	52.35
RoleMRC	79.12	75.24	62.61
ToolSandbox	74.13	68.31	74.51
IHEval	82.40	66.61	62.87
Tau2-Bench	52.32	38.72	61.74
BFCL-v3	67.31	65.03	70.56
RULER (64K)	85.76	86.14	95.37
LongMemEval	69.92	67.95	76.60

提升最明显的是工具调用与角色扮演两项（ToolSandbox、IHEval、RoleBench）；但长文本与长上下文（RULER / LongMemEval / Tau2-Bench）仍是 Qwen3.5-4B 更强——想本地跑长文档任务，Bolt 不是最优解。

站内收录与实测

• NVIDIA-Nemotron-3.5-Bolt-E4B-4GB（id 97）入库，新增 26 条 L2 实测（Q4_K_M GGUF + BF16），全池均值 142.3 tok/s：

硬件	框架 / 量化	实测
H100	Ollama Q4_K_M	345.3 tok/s
RTX 5090	Ollama Q4_K_M / vLLM BF16	279.8 / 171.5 tok/s
RTX PRO 6000 96GB	Ollama Q4_K_M / vLLM BF16	264.8 / 177.6 tok/s
RTX 4090	llama.cpp Q4_K_M	160.6 tok/s（DFlash 接受率 0.54）
M2 Ultra 80GB	llama.cpp Q4_K_M	119.5 tok/s（接受率 0.66）
RTX Spark（116 GiB Linux 池）	llama.cpp / Ollama Q4_K_M	80.7 / 79.2 tok/s

• 本批共新增 103 条实测，另补齐三个老模型的硬件缺口：gemma-4-E4B-it（23 条，覆盖此前没跑过的 4090 / 3090 / 7900 XTX / 5080 / 4080S / 3060 / H100 / H20 / PRO 6000 / M5 Ultra / Arc B580 / RTX Spark）、Ministral-3-8B-Instruct-2512（28 条）、iFlytek Spark-X2.5-4B（26 条）。