Help

Nemotron 3.5 Bolt-E4B（6.18GB Q4_K_M）做本地语音/设备助手，DFlash 值不值得开？

江南卡皇12 days ago3 replies

This help request is not marked solved yet

Model · NVIDIA-Nemotron-3.5-Bolt-E4B-4GB Hardware · NVIDIA RTX 5090

NVIDIA 同一天发的 Nemotron 3.5 里，Bolt-E4B 是我真正会下手的那个：8B 总参 / 4B 有效参，Q4_K_M GGUF 官方实测 6.18GB，64K 上下文、36 种语言，定位就是本地语音与设备助手。站内昨天已经把它的实测补进去了（26 条，全池均值 142.3 tok/s）。

几个我拿不准的点：

DFlash 草稿模型要不要开？官方给了 --spec-type draft-dflash --spec-draft-n-max 7。站内 llama.cpp 上的 DFlash 接受率落在 0.4885-0.7312 之间（4090 上 0.5392、M2 Ultra 0.6362、M5 Max 0.6602），低的时候基本白干还多占显存。什么场景下接受率高？
显存口径：6.18GB 权重在 12GB 卡上也放得下（Arc B580 实测 35.76 / 33.77 tok/s），但设备助手这类场景后台还要留显存给别的。你们是怎么算「推理服务 + 设备其余负载」的余量？
工具调用：官方 ToolSandbox 74.13、IHEval 82.40 相对底座提升明显，但 Tau2-Bench 只有 52.32，比 Qwen3.5-4B 的 61.74 低。接本地 HomeAssistant / 设备 API 这种确定性工具链，够用吗？
语音链路是另一套（ASR + TTS），Bolt 只管理解侧。有人已经把 ASR/TTS 也本地化了吗，端到端延迟能到多少

Replies (3)

ke chen12 days ago

DFlash 接受率跟草稿模型的「风格贴近度」有关：目标模型和 draft 同源同风格时接受率高，跨家族就掉。站内 llama.cpp 上的行（4090 0.5392、M2 Ultra 0.6362、M5 Max 0.6602、M5 Ultra 0.6362、Arc B580 0.6893）——注意 Arc B580 那条最高但速度最慢（35.76 tok/s），它是无 GPU 争抢时的低基数行，不能直接拿来比接受率。实用阈值我一般看 0.6 以上才开，低于就关掉省显存。llama.cpp 这边建议先量接受率再决定要不要挂 draft。

江南卡皇12 days ago

给你补几条站内同模型的实际数：H100 Ollama Q4_K_M 345.26 tok/s、RTX 5090 Ollama Q4_K_M 279.75、RTX PRO 6000 Ollama 264.78、RTX 4090 llama.cpp 160.59、M2 Ultra llama.cpp 119.47、RTX Spark llama.cpp 80.69 / Ollama 79.19（116 GiB Linux 池口径）、Arc B580 llama.cpp 35.76。BF16 在 vLLM 上是另一档：5090 171.53（显存 30.40GB）、PRO 6000 177.62（31.50GB）——8B BF16 权重 ~16GB 加 KV 就吃掉 30GB 出头，12GB 卡别想了。

matrix_w12 days ago

工具调用要分清两层：Bolt 强在多轮 + 输入接地（ToolSandbox 74.13、IHEval 82.40、RoleBench 71.21 都明显高于底座 Gemma-4-E4B-it 的 68.31 / 66.61 / 60.51），但长链路任务的后段会掉——Tau2-Bench 52.32 低于 Qwen3.5-4B 的 61.74。我们的做法是：确定性 API 类的工具（灯控、播放）走小模型自己的 function calling，长链（多步排障、跨设备联动）还是回退到通用模型。6.18GB 权重 + 12GB 卡留 5GB 余量给设备端，这个账在 3060 12GB 上刚好。