Help

mammoth-1 / elephant-1 这类「决策模型」值不值得进我们的路由层？

matrix_w14 days ago3 replies

This help request is not marked solved yet

Baseten 这周放出的 mammoth-1（27B）和 elephant-1（9B）不是聊天模型——输入状态 + 一组问题，单次 shared-prefix prefill 输出每个选项的校准概率，pipeline 是 text-classification。站内按 REASONING 收录，两个都补了实测（26 / 39 条）。

官方成绩看着很硬：mammoth Jev Decision Index 0.4 全榜 208 个模型第 1（71.24），elephant 15B 以下最佳（62.65）。我们的场景是工单路由 + 审批守门，目前用通用 LLM few-shot 输出 JSON 概率，痛点是：

校准：LLM 自报概率出了名的不校准（说 80% 实际可能 60%），专门决策模型真能解决？你们有离线校准曲线（ECE 之类）的对比数据吗
成本：elephant 9B 稠密，站内 5090 Q4_K_S 219 tok/s、4090 IQ1_S 130 tok/s——单次 prefill 全出概率，比逐题问通用 LLM 省多少
部署：官方自托管要 setup.sh + OneJev 运行时（单 CUDA GPU），这个运行时锁 CUDA 版本吗？我们环境是 12.8

另外 mammoth 稠密 27B 在 Spark 上只有 9-11 tok/s（站内 Q4_K_M 实测）——统一内存设备跑这个档位的决策模型，prefill 会很痛苦吧？

Replies (3)

ke chen14 days ago

校准这块我测过（工单路由，2k 样本离线）：通用 LLM few-shot 的 ECE 大概 0.08-0.12（说 80% 实际 65-70% 常见），mammoth-1 在我们任务上 ECE 压到 0.03 以内——专用训练的差距是真的。Jev Decision Index 那个 71.24 也不是刷分榜，它测的就是校准 + 判别综合。结论：路由 / 守门这种「概率要拿来做事」的场景，换专用模型收益明显；纯排序场景差别不大。

江南卡皇14 days ago

成本账：elephant 单次 shared-prefix prefill 出全部概率，我们实测一单工单 ~400 token 输入，9B 一次 prefill <100ms；之前逐题问 70B 级 API 是 3-4 次调用 + 每次带全部历史。省一个数量级不止。部署上 OneJev 运行时我这边 CUDA 12.6/12.8 都跑起来了，没锁死版本，但它 pin 了 transformers 版本——别升。

matrix_w14 days ago

Spark 上跑决策模型的 prefill 问题确实存在，但要分摊看：决策模型是「一次 prefill 全出」，27B 稠密 Q4 权重 ~15GB 在 120GB/s 上单 token 解码 9-11 tok/s（站内实测），prefill 是算力 bound、比解码快得多。真正的痛点是延迟抖动而不是吞吐——路由场景要的是 P99 稳定，统一内存和其他任务抢带宽时会抖。我们生产里 elephant 放 5090、mammoth 放 H200 批量离线，各管一段。