NVIDIA 于 2026-10-23 发布的 Nemotron 3.5 Bolt（Apache-2.0 的 Google Gemma-4-E4B-it 底座 + NVIDIA 后训练，官方后训练数据截止 2026-05）：8B 总参 / 4B 有效参，面向本地语音与设备助手、交互人设、边缘嵌入式场景。主打多轮工具调用、指令遵循与输入接地（input grounding）；chat template 控制 thinking 模式与 conversational 模式，thinking 预算可调。官方 Q4_K_M GGUF 实测 **6.18GB**（仓库名里的「4GB」指 4B 有效参数量级），llama.cpp 官方给了 Docker 配方（ghcr.io/ggml-org/llama.cpp:server-cuda13-b11459，-c 65536、--jinja），另配 DFlash 草稿模型做投机解码（--spec-type draft-dflash --spec-draft-n-max 7）。上下文输入/输出各 64K token，支持 36 种语言。Q4_K_M 口径基准（对照 Gemma-4-E4B-it Q4_K_M / Qwen3.5-4B Q4_K_M）：MultiChallenge 55.60、RoleBench 71.21、RoleMRC 79.12、ToolSandbox 74.13、IHEval 82.40、IFBench 64.00、StructEval-T 79.99、BFCL-v3 67.31、Tau2-Bench 52.32、AgentIF 22.95、RULER(64K) 85.76、LongMemEval 69.92、LongBench v2 (48K) 48.67——工具调用与角色扮演两项相对底座提升最明显。许可 OpenMDW-1.1（底座 Gemma 4 部分适用 Apache-2.0）。
0
量化版本
26
实测记录
1
讨论数
量化版本
社区与官方发布的量化版本；「关联实测」只统计精确关联到该发布的实测记录。
还没有已收录的量化版本。
实测数据
共 26 组配置
| 硬件 | 框架 | 量化 | 生成速度 | 运行显存 | 实测次数 | 证据 |
|---|---|---|---|---|---|---|
| NVIDIA RTX 4090 | llama.cpp | Q4_K_M | 160.6 tok/s | 15.88 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX 4090 | Strata | Q4_K_M | 225.9 tok/s | 15.88 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX 3090 | llama.cpp | Q4_K_M | 94.6 tok/s | 15.88 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX 3090 | Strata | Q4_K_M | 125.8 tok/s | 15.88 GB | 1 | L2 跨框架验证 |
| AMD Radeon RX 7900 XTX | llama.cpp | Q4_K_M | 102.6 tok/s | 15.88 GB | 1 | L2 跨框架验证 |
| AMD Radeon RX 7900 XTX | Ollama | Q4_K_M | 86.9 tok/s | 15.88 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX 5090 | vLLM | BF16 | 171.5 tok/s | 30.4 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX 5090 | Ollama | Q4_K_M | 279.8 tok/s | 15.88 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX 5080 | Ollama | Q4_K_M | 181.2 tok/s | 15.2 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX 4080 Super | llama.cpp | Q4_K_M | 162.7 tok/s | 15.2 GB | 1 | L2 跨框架验证 |
| AMD Ryzen AI Max+ 395 | llama.cpp | Q4_K_M | 35.8 tok/s | 15.88 GB | 1 | L2 跨框架验证 |
| AMD Ryzen AI Max+ 395 | Ollama | Q4_K_M | 33.8 tok/s | 15.88 GB | 1 | L2 跨框架验证 |
| Apple M5 Max | llama.cpp | Q4_K_M | 76.6 tok/s | 15.88 GB | 1 | L2 跨框架验证 |
| Apple M5 Max | Ollama | Q4_K_M | 69.9 tok/s | 15.88 GB | 1 | L2 跨框架验证 |
| Apple M5 Ultra | llama.cpp | Q4_K_M | 131 tok/s | 15.88 GB | 1 | L2 跨框架验证 |
| Apple M5 Ultra | Ollama | Q4_K_M | 106.3 tok/s | 15.88 GB | 1 | L2 跨框架验证 |
| NVIDIA H100 80GB HBM3 | Ollama | Q4_K_M | 345.3 tok/s | 15.88 GB | 1 | L2 跨框架验证 |
| NVIDIA H100 80GB HBM3 | Strata | Q4_K_M | 317.2 tok/s | 15.88 GB | 1 | L2 跨框架验证 |
| NVIDIA H20 | llama.cpp | Q4_K_M | 61.8 tok/s | 15.88 GB | 1 | L2 跨框架验证 |
| NVIDIA H20 | Strata | Q4_K_M | 91.1 tok/s | 15.88 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX PRO 6000 Blackwell 96GB | vLLM | BF16 | 177.6 tok/s | 31.5 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX PRO 6000 Blackwell 96GB | Ollama | Q4_K_M | 264.8 tok/s | 15.88 GB | 1 | L2 跨框架验证 |
| Apple M2 Ultra | llama.cpp | Q4_K_M | 119.5 tok/s | 15.88 GB | 1 | L2 跨框架验证 |
| Apple M2 Ultra | Ollama | Q4_K_M | 118.1 tok/s | 15.88 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX Spark | llama.cpp | Q4_K_M | 80.7 tok/s | 15.88 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX Spark | Ollama | Q4_K_M | 79.2 tok/s | 15.88 GB | 1 | L2 跨框架验证 |
其中 26 条实测未关联到具体量化版本，完整数据见搜索页。