mammoth-1 的 9B 小兄弟（2026-10-21 发布，MIT，Qwen3.5-9B 全量微调），面向「快且便宜」的决策场景：同样单次 shared-prefix prefill 输出每个选项的校准概率。成绩：Jev Decision Index 0.4 上 15B 以下最佳（62.65，并列 208 个模型第 8）；Artificial Analysis Decision Index 复刻榜 65.2，与 d1-ultra（65）持平。与 mammoth-1 的分工：需要更广通用知识时用 27B，延迟 / 成本敏感的路由与守门用 9B。自托管需官方 setup.sh + OneJev 运行时（单 CUDA GPU）。
0
量化版本
39
实测记录
量化版本
社区与官方发布的量化版本；「关联实测」只统计精确关联到该发布的实测记录。
还没有已收录的量化版本。
实测数据
共 37 组配置
| 硬件 | 框架 | 量化 | 生成速度 | 运行显存 | 实测次数 | 证据 |
|---|---|---|---|---|---|---|
| NVIDIA RTX 4090 | llama.cpp | IQ1_S | 180.8 tok/s | 10.04 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX 4090 | llama.cpp | IQ3_XS | 136.3 tok/s | 13.82 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX 4090 | vLLM | IQ2_XS | 179.7 tok/s | 11.17 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX 3090 | Ollama | Q4_K_S | 69.8 tok/s | 16.84 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX 3090 | Strata | IQ1_S | 163.9 tok/s | 10.04 GB | 1 | L2 跨框架验证 |
| AMD Radeon RX 7900 XTX | vLLM | Q3_K_M | 95 tok/s | 14.95 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX 5090 | llama.cpp | Q4_K_S | 219 tok/s | 16.84 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX 5090 | Ollama | Q5_K_S | 174.8 tok/s | 19.11 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX 5090 | Ollama | Q8_0 | 139 tok/s | 23.84 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX 5080 | llama.cpp | IQ3_XS | 196.5 tok/s | 13.82 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX 3060 12GB | vLLM | Q2_K | 70.1 tok/s | 11.4 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX 4080 Super | Ollama | Q3_K_L | 145.8 tok/s | 15.2 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX 4080 Super | Strata | IQ3_XS | 244.7 tok/s | 13.82 GB | 1 | L2 跨框架验证 |
| AMD Ryzen AI Max+ 395 | llama.cpp | Q3_K_L | 32.7 tok/s | 15.71 GB | 1 | L2 跨框架验证 |
| AMD Ryzen AI Max+ 395 | vLLM | Q6_K | 22.6 tok/s | 21 GB | 1 | L2 跨框架验证 |
| AMD Ryzen AI Max+ 395 | vLLM | Q8_0 | 19.6 tok/s | 23.84 GB | 1 | L2 跨框架验证 |
| Apple M5 Max | llama.cpp | Q5_K_S | 59.5 tok/s | 19.11 GB | 1 | L2 跨框架验证 |
| Apple M5 Max | Ollama | FP16 | 30.8 tok/s | 37.06 GB | 1 | L2 跨框架验证 |
| Apple M5 Max | Ollama | Q5_K_S | 53.6 tok/s | 19.11 GB | 1 | L2 跨框架验证 |
| Apple M5 Ultra | llama.cpp | Q3_K_S | 117.4 tok/s | 14.38 GB | 1 | L2 跨框架验证 |
| Apple M5 Ultra | llama.cpp | Q5_K_S | 83.3 tok/s | 19.11 GB | 1 | L2 跨框架验证 |
| Apple M5 Ultra | Ollama | Q6_K | 62.3 tok/s | 21 GB | 1 | L2 跨框架验证 |
| NVIDIA H100 80GB HBM3 | Ollama | Q3_K_M | 303.5 tok/s | 14.95 GB | 1 | L2 跨框架验证 |
| NVIDIA H100 80GB HBM3 | Strata | IQ3_S | 322.4 tok/s | 14.57 GB | 1 | L2 跨框架验证 |
| NVIDIA H20 | vLLM | FP16 | 25.8 tok/s | 37.06 GB | 1 | L2 跨框架验证 |
| NVIDIA H20 | vLLM | IQ2_XS | 68.6 tok/s | 11.17 GB | 1 | L2 跨框架验证 |
| NVIDIA H20 | Ollama | Q5_K_M | 36.6 tok/s | 19.68 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX PRO 6000 Blackwell 96GB | Ollama | IQ1_S | 275.8 tok/s | 10.04 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX PRO 6000 Blackwell 96GB | Ollama | IQ4_XS | 194.7 tok/s | 16.09 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX PRO 6000 Blackwell 96GB | Strata | IQ3_XS | 354.5 tok/s | 13.82 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX PRO 6000 Blackwell 96GB | Strata | Q4_K_S | 293.1 tok/s | 16.84 GB | 1 | L2 跨框架验证 |
| Apple M2 Ultra | llama.cpp | Q4_K_M | 92.5 tok/s | 17.6 GB | 1 | L2 跨框架验证 |
| Apple M2 Ultra | llama.cpp | Q4_K_S | 88.6 tok/s | 16.84 GB | 1 | L2 跨框架验证 |
| Apple M2 Ultra | Ollama | Q6_K | 67.8 tok/s | 21 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX Spark | llama.cpp | IQ4_XS | 53.7 tok/s | 16.09 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX Spark | llama.cpp | Q4_K_M | 50.5 tok/s | 17.6 GB | 2 | L2 跨框架验证 |
| NVIDIA RTX Spark | Ollama | Q4_K_M | 49.5 tok/s | 17.6 GB | 2 | L2 跨框架验证 |
其中 39 条实测未关联到具体量化版本，完整数据见搜索页。
社区讨论
还没有讨论——发起第一个话题吧。
发起讨论