Qwen (Alibaba) 2026-02-24 发布的开权重图文理解模型,36.0B 总参数 / 约 3B 激活,Apache-2.0 许可。MoE 架构:36B 总参数 / 约 3B 激活,适合显存受限但要更大知识池的场景。
0
量化版本
25
实测记录
量化版本
社区与官方发布的量化版本;「关联实测」只统计精确关联到该发布的实测记录。
还没有已收录的量化版本。
实测数据
共 25 组配置
| 硬件 | 框架 | 量化 | 生成速度 | 运行显存 | 实测次数 | 证据 |
|---|---|---|---|---|---|---|
| Apple M3 Max | Ollama | IQ2_M | 78.9 tok/s | 34.2 GB | 1 | L2 跨框架验证 |
| Apple M3 Max | Strata | IQ2_M | 121.5 tok/s | 34.2 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX 5090 | vLLM | IQ1_S | 227.8 tok/s | 30.4 GB | 1 | L2 跨框架验证 |
| Apple M4 Max | vLLM | IQ4_XS | 115.3 tok/s | 58.04 GB | 1 | L2 跨框架验证 |
| Apple M4 Max | vLLM | Q4_K_S | 115.9 tok/s | 61.07 GB | 1 | L2 跨框架验证 |
| Apple M4 Max | Ollama | IQ2_XS | 138 tok/s | 38.39 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX 4080 Super | llama.cpp | Q6_K | 18.2 tok/s | 16 GB | 1 | L0 自报 |
| NVIDIA RTX 4080 Super | llama.cpp | Q5_K_S | 23.6 tok/s | 16 GB | 1 | L0 自报 |
| NVIDIA RTX 4080 Super | llama.cpp | IQ3_S | 39.3 tok/s | 15.1 GB | 1 | L0 自报 |
| NVIDIA RTX 4080 Super | llama.cpp | IQ4_XS | 29.6 tok/s | 16 GB | 1 | L0 自报 |
| NVIDIA RTX 5070 Ti | llama.cpp | Q6_K | 22.1 tok/s | 16 GB | 1 | L0 自报 |
| NVIDIA RTX 5070 Ti | llama.cpp | Q5_K_S | 28.8 tok/s | 16 GB | 1 | L0 自报 |
| NVIDIA RTX 5070 Ti | llama.cpp | IQ3_S | 47.9 tok/s | 15.1 GB | 1 | L0 自报 |
| NVIDIA RTX 5070 Ti | llama.cpp | IQ4_XS | 36 tok/s | 16 GB | 1 | L0 自报 |
| NVIDIA RTX 5090 | llama.cpp | Q6_K | 44.2 tok/s | 32 GB | 1 | L0 自报 |
| NVIDIA RTX 5090 | llama.cpp | Q5_K_S | 57.5 tok/s | 24.8 GB | 1 | L0 自报 |
| NVIDIA RTX 5090 | llama.cpp | IQ3_S | 95.7 tok/s | 15.1 GB | 1 | L0 自报 |
| NVIDIA RTX 5090 | llama.cpp | IQ4_XS | 72 tok/s | 19.9 GB | 1 | L0 自报 |
| NVIDIA RTX 4090 | llama.cpp | Q6_K | 24.9 tok/s | 24 GB | 1 | L0 自报 |
| NVIDIA RTX 4090 | llama.cpp | Q5_K_S | 32.4 tok/s | 24 GB | 1 | L0 自报 |
| NVIDIA RTX 4090 | llama.cpp | IQ3_S | 53.9 tok/s | 15.1 GB | 1 | L0 自报 |
| NVIDIA RTX 4090 | llama.cpp | IQ4_XS | 40.5 tok/s | 19.9 GB | 1 | L0 自报 |
| Apple M5 Max | llama.cpp | Q4_K_M | 21.9 tok/s | 22.4 GB | 1 | L0 自报 |
| NVIDIA RTX 5090 | vLLM | Q4_K_M | 69.6 tok/s | 22.4 GB | 1 | L0 自报 |
| NVIDIA RTX 4090 | llama.cpp | Q4_K_M | 35.9 tok/s | 22.4 GB | 1 | L0 自报 |
其中 25 条实测未关联到具体量化版本,完整数据见搜索页。
社区讨论
还没有讨论——发起第一个话题吧。
发起讨论