Z.ai（原智谱）2026-08-26 发布的开权重 MoE 多模态模型：320B 总参数 / 18B 激活，1M 上下文，MIT 许可。原生支持文本、图片、视频与文档输入，支持 SGLang / vLLM 本地部署。
0
量化版本
29
实测记录
量化版本
社区与官方发布的量化版本；「关联实测」只统计精确关联到该发布的实测记录。
还没有已收录的量化版本。
实测数据
共 29 组配置
| 硬件 | 框架 | 量化 | 生成速度 | 运行显存 | 实测次数 | 证据 |
|---|---|---|---|---|---|---|
| NVIDIA RTX 4080 Super | SGLang | Q4_K_M | 3.1 tok/s | 16 GB | 1 | L0 自报 |
| NVIDIA RTX 4080 Super | SGLang | IQ3_S | 4.7 tok/s | 16 GB | 1 | L0 自报 |
| NVIDIA RTX 4080 Super | SGLang | IQ4_XS | 3.5 tok/s | 16 GB | 1 | L0 自报 |
| NVIDIA RTX 4080 Super | vLLM | Q4_K_M | 3.2 tok/s | 16 GB | 1 | L0 自报 |
| NVIDIA RTX 4080 Super | vLLM | IQ3_S | 4.8 tok/s | 16 GB | 1 | L0 自报 |
| NVIDIA RTX 4080 Super | vLLM | IQ4_XS | 3.6 tok/s | 16 GB | 1 | L0 自报 |
| NVIDIA RTX 5070 Ti | SGLang | Q4_K_M | 3.8 tok/s | 16 GB | 1 | L0 自报 |
| NVIDIA RTX 5070 Ti | SGLang | IQ3_S | 5.7 tok/s | 16 GB | 1 | L0 自报 |
| NVIDIA RTX 5070 Ti | SGLang | IQ4_XS | 4.3 tok/s | 16 GB | 1 | L0 自报 |
| NVIDIA RTX 5070 Ti | vLLM | Q4_K_M | 3.9 tok/s | 16 GB | 1 | L0 自报 |
| NVIDIA RTX 5070 Ti | vLLM | IQ3_S | 5.9 tok/s | 16 GB | 1 | L0 自报 |
| NVIDIA RTX 5070 Ti | vLLM | IQ4_XS | 4.4 tok/s | 16 GB | 1 | L0 自报 |
| NVIDIA RTX 5090 | SGLang | Q4_K_M | 7.6 tok/s | 32 GB | 1 | L0 自报 |
| NVIDIA RTX 5090 | SGLang | IQ4_XS | 8.5 tok/s | 32 GB | 1 | L0 自报 |
| NVIDIA RTX 5090 | vLLM | Q4_K_M | 7.8 tok/s | 32 GB | 1 | L0 自报 |
| NVIDIA RTX 5090 | vLLM | IQ3_S | 11.8 tok/s | 32 GB | 1 | L0 自报 |
| NVIDIA RTX 5090 | vLLM | IQ4_XS | 8.8 tok/s | 32 GB | 1 | L0 自报 |
| NVIDIA RTX 4090 | SGLang | Q4_K_M | 4.3 tok/s | 24 GB | 1 | L0 自报 |
| NVIDIA RTX 4090 | SGLang | IQ3_S | 6.4 tok/s | 24 GB | 1 | L0 自报 |
| NVIDIA RTX 4090 | SGLang | IQ4_XS | 4.8 tok/s | 24 GB | 1 | L0 自报 |
| NVIDIA RTX 4090 | vLLM | Q4_K_M | 4.4 tok/s | 24 GB | 1 | L0 自报 |
| NVIDIA RTX 4090 | vLLM | IQ4_XS | 5 tok/s | 24 GB | 1 | L0 自报 |
| NVIDIA RTX 3060 12GB | llama.cpp | IQ2_XXS | 3.1 tok/s | 12 GB | 1 | L0 自报 |
| NVIDIA RTX 3090 | llama.cpp | IQ3_S | 5.6 tok/s | 24 GB | 1 | L0 自报 |
| NVIDIA RTX 5070 Ti | Strata | IQ2_XS | 8.3 tok/s | 16 GB | 1 | L0 自报 |
| NVIDIA RTX 5070 | llama.cpp | IQ2_XS | 4.9 tok/s | 12 GB | 1 | L0 自报 |
| NVIDIA RTX 5090 | SGLang | IQ3_S | 11.3 tok/s | 32 GB | 1 | L0 自报 |
| NVIDIA RTX 4090 | vLLM | IQ3_S | 6.6 tok/s | 24 GB | 1 | L0 自报 |
| 2x NVIDIA RTX 5090 | llama.cpp | UD-IQ4_XS | 22 tok/s | 60.34 GB | 1 | L0 自报 |
其中 29 条实测未关联到具体量化版本，完整数据见搜索页。
社区讨论
还没有讨论——发起第一个话题吧。
发起讨论