Qwen (Alibaba) 2026-08-24 发布的开权重图文理解模型,180.0B 总参数,自定义开放权重许可。Qwen3.8 世代的 Flash 档,总参数约 180B,面向低成本高吞吐的本地与云端部署。
0
量化版本
41
实测记录
6
讨论数
量化版本
社区与官方发布的量化版本;「关联实测」只统计精确关联到该发布的实测记录。
还没有已收录的量化版本。
实测数据
共 41 组配置
| 硬件 | 框架 | 量化 | 生成速度 | 运行显存 | 实测次数 | 证据 |
|---|---|---|---|---|---|---|
| NVIDIA RTX 5070 Ti | Strata | Q4_K_M | 8.2 tok/s | 16 GB | 1 | L0 自报 |
| NVIDIA RTX 5070 Ti | Strata | IQ3_XXS | 14.2 tok/s | 16 GB | 1 | L0 自报 |
| NVIDIA RTX 5070 Ti | Strata | IQ3_S | 12.3 tok/s | 16 GB | 1 | L0 自报 |
| NVIDIA RTX 5070 Ti | Strata | IQ4_XS | 9.2 tok/s | 16 GB | 1 | L0 自报 |
| NVIDIA RTX 5070 Ti | llama.cpp | Q4_K_M | 6.4 tok/s | 16 GB | 1 | L0 自报 |
| NVIDIA RTX 5070 Ti | llama.cpp | IQ3_XXS | 11.1 tok/s | 16 GB | 1 | L0 自报 |
| NVIDIA RTX 5070 Ti | llama.cpp | IQ4_XS | 7.2 tok/s | 16 GB | 1 | L0 自报 |
| NVIDIA RTX 3090 | Strata | Q4_K_M | 8.6 tok/s | 24 GB | 1 | L0 自报 |
| NVIDIA RTX 3090 | Strata | IQ3_XXS | 14.8 tok/s | 24 GB | 1 | L0 自报 |
| NVIDIA RTX 3090 | Strata | IQ3_S | 12.8 tok/s | 24 GB | 1 | L0 自报 |
| NVIDIA RTX 3090 | Strata | IQ4_XS | 9.6 tok/s | 24 GB | 1 | L0 自报 |
| NVIDIA RTX 3090 | llama.cpp | Q4_K_M | 6.7 tok/s | 24 GB | 1 | L0 自报 |
| NVIDIA RTX 3090 | llama.cpp | IQ3_XXS | 11.6 tok/s | 24 GB | 1 | L0 自报 |
| NVIDIA RTX 3090 | llama.cpp | IQ4_XS | 7.5 tok/s | 24 GB | 1 | L0 自报 |
| NVIDIA RTX 5090 | Strata | Q4_K_M | 16.4 tok/s | 32 GB | 1 | L0 自报 |
| NVIDIA RTX 5090 | Strata | IQ3_XXS | 28.4 tok/s | 32 GB | 1 | L0 自报 |
| NVIDIA RTX 5090 | Strata | IQ3_S | 24.6 tok/s | 32 GB | 1 | L0 自报 |
| NVIDIA RTX 5090 | Strata | IQ4_XS | 18.4 tok/s | 32 GB | 1 | L0 自报 |
| NVIDIA RTX 5090 | llama.cpp | Q4_K_M | 12.8 tok/s | 32 GB | 1 | L0 自报 |
| NVIDIA RTX 5090 | llama.cpp | IQ3_XXS | 22.1 tok/s | 32 GB | 1 | L0 自报 |
| NVIDIA RTX 5090 | llama.cpp | IQ3_S | 19.2 tok/s | 32 GB | 1 | L0 自报 |
| NVIDIA RTX 5090 | llama.cpp | IQ4_XS | 14.4 tok/s | 32 GB | 1 | L0 自报 |
| NVIDIA RTX 4090 | Strata | Q4_K_M | 9.2 tok/s | 24 GB | 1 | L0 自报 |
| NVIDIA RTX 4090 | Strata | IQ3_XXS | 15.9 tok/s | 24 GB | 1 | L0 自报 |
| NVIDIA RTX 4090 | Strata | IQ3_S | 13.8 tok/s | 24 GB | 1 | L0 自报 |
| NVIDIA RTX 4090 | Strata | IQ4_XS | 10.4 tok/s | 24 GB | 1 | L0 自报 |
| NVIDIA RTX 4090 | llama.cpp | Q4_K_M | 7.2 tok/s | 24 GB | 1 | L0 自报 |
| NVIDIA RTX 4090 | llama.cpp | IQ3_XXS | 12.4 tok/s | 24 GB | 1 | L0 自报 |
| NVIDIA RTX 4090 | llama.cpp | IQ3_S | 10.8 tok/s | 24 GB | 1 | L0 自报 |
| NVIDIA RTX 4090 | llama.cpp | IQ4_XS | 8.1 tok/s | 24 GB | 1 | L0 自报 |
| Apple M5 Max | llama.cpp | IQ3_S | 6.6 tok/s | 73.4 GB | 1 | L0 自报 |
| Apple M4 Max | llama.cpp | IQ3_S | 5.8 tok/s | 73.4 GB | 1 | L0 自报 |
| NVIDIA RTX 3060 12GB | Strata | IQ2_XXS | 7.1 tok/s | 12 GB | 1 | L0 自报 |
| NVIDIA RTX 3090 | llama.cpp | IQ3_S | 10 tok/s | 24 GB | 1 | L0 自报 |
| NVIDIA RTX 5070 Ti | llama.cpp | IQ3_S | 9.6 tok/s | 16 GB | 1 | L0 自报 |
| NVIDIA RTX 5090 | vLLM | IQ3_S | 20.9 tok/s | 32 GB | 1 | L0 自报 |
| NVIDIA RTX 4090 | Strata | IQ2_XS | 16.6 tok/s | 24 GB | 1 | L0 自报 |
| Intel Arc B580 | Strata | IQ2_XS | 45 tok/s | 5.5 GB | 1 | L1 已复现 |
| NVIDIA RTX 5070 | Strata | IQ2_XS | 79 tok/s | 7.5 GB | 1 | L1 已复现 |
| NVIDIA RTX 3060 12GB | Strata | IQ1_S | 70 tok/s | 6.5 GB | 1 | L1 已复现 |
| 4x NVIDIA Tesla P40 | llama.cpp | UD-Q3_K_XL | 21.6 tok/s | — | 1 | L1 已复现 |
其中 41 条实测未关联到具体量化版本,完整数据见搜索页。
社区讨论
查看全部讨论建议记录页增加"分层卸载比例 / 卸载策略"字段matrix_w · 2026-10-04 · 2 条回复12G 显存跑 180B 全流程:卡选 → 量化 → Strata 调参bit_squeezer · 2026-10-04 · 2 条回复RTX 4070 12GB ctx=4096 时 KV cache OOM,求教 Strata 的 gpu-split 参数matrix_w · 2026-10-04 · 2 条回复Intel Arc B580 12GB + Strata Vulkan:1.8 tok/s 但能跑通江南卡皇 · 2026-10-04 · 1 条回复RTX 5070 12GB Blackwell + Strata IQ2_XS:5.4 tok/s,比 3060 强一截matrix_w · 2026-10-04 · 2 条回复