Baseten 于 2026-10-21 发布的 27B 决策模型（MIT，Qwen3.5-27B 全量微调，冻结视觉编码器）。输入状态 + 一组问题，单次 shared-prefix prefill 为每个选项输出校准概率——与让通用 LLM 逐题问答相比，路由 / 守门 / 分类场景下更省 token 也更稳。成绩：Jev Decision Index 0.4 全榜 208 个模型第 1（71.24，领先 Perplexity Decider v1.2 的 69.42）；Artificial Analysis Decision Index 复刻榜 65.9 第 1。全注意力层使用 block-bidirectional mask，最大序列 16,384 token。注意：pipeline 为 text-classification，自托管需官方 setup.sh + OneJev 运行时（单 CUDA GPU），并非通用 chat 模型。
0
量化版本
26
实测记录
1
讨论数
量化版本
社区与官方发布的量化版本；「关联实测」只统计精确关联到该发布的实测记录。
还没有已收录的量化版本。
实测数据
共 26 组配置
| 硬件 | 框架 | 量化 | 生成速度 | 运行显存 | 实测次数 | 证据 |
|---|---|---|---|---|---|---|
| NVIDIA RTX 4090 | Ollama | IQ1_S | 130.3 tok/s | 22.8 GB | 1 | L2 跨框架验证 |
| AMD Ryzen AI Max+ 395 | llama.cpp | Q4_K_S | 26.2 tok/s | 46.33 GB | 1 | L2 跨框架验证 |
| AMD Ryzen AI Max+ 395 | vLLM | Q4_K_S | 27.6 tok/s | 46.33 GB | 1 | L2 跨框架验证 |
| Apple M5 Max | llama.cpp | IQ4_XS | 59.8 tok/s | 44.06 GB | 1 | L2 跨框架验证 |
| Apple M5 Max | llama.cpp | Q3_K_M | 63.7 tok/s | 40.66 GB | 1 | L2 跨框架验证 |
| Apple M5 Max | Ollama | FP16 | 25.7 tok/s | 107 GB | 1 | L2 跨框架验证 |
| Apple M5 Ultra | llama.cpp | Q3_K_M | 90.5 tok/s | 40.66 GB | 1 | L2 跨框架验证 |
| Apple M5 Ultra | llama.cpp | Q5_K_S | 71.3 tok/s | 53.13 GB | 1 | L2 跨框架验证 |
| Apple M5 Ultra | Ollama | IQ4_XS | 81.4 tok/s | 44.06 GB | 1 | L2 跨框架验证 |
| NVIDIA H100 80GB HBM3 | llama.cpp | Q4_K_S | 342.5 tok/s | 46.33 GB | 1 | L2 跨框架验证 |
| NVIDIA H100 80GB HBM3 | Strata | Q3_K_S | 346 tok/s | 38.96 GB | 1 | L2 跨框架验证 |
| NVIDIA H20 | llama.cpp | FP16 | 18.6 tok/s | 92.15 GB | 1 | L2 跨框架验证 |
| NVIDIA H20 | vLLM | IQ4_XS | 46 tok/s | 44.06 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX PRO 6000 Blackwell 96GB | vLLM | IQ3_XS | 228.2 tok/s | 37.25 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX PRO 6000 Blackwell 96GB | vLLM | Q5_K_M | 145.7 tok/s | 54.83 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX PRO 6000 Blackwell 96GB | Ollama | IQ3_XS | 214.1 tok/s | 37.25 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX PRO 6000 Blackwell 96GB | Ollama | Q5_K_S | 135.9 tok/s | 53.13 GB | 1 | L2 跨框架验证 |
| Apple M2 Ultra | llama.cpp | IQ2_M | 102.3 tok/s | 31.58 GB | 1 | L2 跨框架验证 |
| Apple M2 Ultra | llama.cpp | Q5_K_M | 67.4 tok/s | 54.83 GB | 1 | L2 跨框架验证 |
| Apple M2 Ultra | Ollama | IQ1_S | 100.6 tok/s | 25.91 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX Spark | llama.cpp | IQ1_S | 15.8 tok/s | 25.91 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX Spark | llama.cpp | Q4_K_M | 11 tok/s | 48.59 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX Spark | llama.cpp | Q4_K_S | 11.8 tok/s | 46.33 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX Spark | Ollama | IQ3_S | 12.2 tok/s | 39.52 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX Spark | Ollama | IQ4_XS | 9.9 tok/s | 44.06 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX Spark | Ollama | Q4_K_M | 9.2 tok/s | 48.59 GB | 1 | L2 跨框架验证 |
其中 26 条实测未关联到具体量化版本，完整数据见搜索页。