DeepSeek 2026-09-10 发布的开权重图文理解模型,763.2B 总参数,MIT 许可。DeepSeek-V4.1 的 Flash 档,重点改进 KV cache 压缩,总参数约 763B(MoE)。
0
量化版本
40
实测记录
2
讨论数
量化版本
社区与官方发布的量化版本;「关联实测」只统计精确关联到该发布的实测记录。
还没有已收录的量化版本。
实测数据
共 40 组配置
| 硬件 | 框架 | 量化 | 生成速度 | 运行显存 | 实测次数 | 证据 |
|---|---|---|---|---|---|---|
| NVIDIA RTX PRO 4000 Blackwell | SGLang | IQ2_XS | 2.1 tok/s | 24 GB | 1 | L0 自报 |
| NVIDIA RTX PRO 4000 Blackwell | SGLang | IQ3_S | 1.8 tok/s | 24 GB | 1 | L0 自报 |
| NVIDIA RTX PRO 4000 Blackwell | vLLM | IQ2_XS | 2.2 tok/s | 24 GB | 1 | L0 自报 |
| NVIDIA RTX PRO 4000 Blackwell | vLLM | IQ3_S | 1.8 tok/s | 24 GB | 1 | L0 自报 |
| NVIDIA RTX PRO 5000 Blackwell | SGLang | IQ2_XS | 4.3 tok/s | 48 GB | 1 | L0 自报 |
| NVIDIA RTX PRO 5000 Blackwell | SGLang | IQ3_S | 3.6 tok/s | 48 GB | 1 | L0 自报 |
| NVIDIA RTX PRO 5000 Blackwell | vLLM | IQ2_XS | 4.4 tok/s | 48 GB | 1 | L0 自报 |
| NVIDIA DGX Spark | SGLang | IQ2_XS | 0.9 tok/s | 128 GB | 1 | L0 自报 |
| NVIDIA DGX Spark | SGLang | IQ3_S | 0.7 tok/s | 128 GB | 1 | L0 自报 |
| NVIDIA DGX Spark | vLLM | IQ2_XS | 0.9 tok/s | 128 GB | 1 | L0 自报 |
| NVIDIA DGX Spark | vLLM | IQ3_S | 0.8 tok/s | 128 GB | 1 | L0 自报 |
| 2x NVIDIA RTX 5070 Ti | SGLang | IQ2_XS | — | 32 GB | 1 | L0 自报 |
| 2x NVIDIA RTX 5070 Ti | SGLang | IQ3_S | — | 32 GB | 1 | L0 自报 |
| 2x NVIDIA RTX 5070 Ti | vLLM | IQ2_XS | — | 32 GB | 1 | L0 自报 |
| 2x NVIDIA RTX 5070 Ti | vLLM | IQ3_S | — | 32 GB | 1 | L0 自报 |
| Apple M5 Ultra | llama.cpp | IQ2_XS | 3.6 tok/s | 258.1 GB | 1 | L0 自报 |
| Apple M5 Ultra | llama.cpp | IQ3_S | 3 tok/s | 309.6 GB | 1 | L0 自报 |
| Apple M5 Pro | llama.cpp | IQ2_XS | 0.9 tok/s | 64 GB | 1 | L0 自报 |
| Apple M5 Pro | llama.cpp | IQ3_S | 0.8 tok/s | 64 GB | 1 | L0 自报 |
| Apple M4 Pro | llama.cpp | IQ2_XS | 0.8 tok/s | 64 GB | 1 | L0 自报 |
| Apple M4 Pro | llama.cpp | IQ3_S | 0.7 tok/s | 64 GB | 1 | L0 自报 |
| Apple M3 Max | llama.cpp | IQ2_XS | 0.9 tok/s | 36 GB | 1 | L0 自报 |
| Apple M3 Max | llama.cpp | IQ3_S | 0.8 tok/s | 36 GB | 1 | L0 自报 |
| NVIDIA RTX 3090 | llama.cpp | IQ2_XS | 2.8 tok/s | 24 GB | 1 | L0 自报 |
| NVIDIA RTX 3090 | llama.cpp | IQ3_S | 2.4 tok/s | 24 GB | 1 | L0 自报 |
| NVIDIA RTX 3090 | vLLM | IQ2_XS | 3.1 tok/s | 24 GB | 1 | L0 自报 |
| NVIDIA RTX 3090 | vLLM | IQ3_S | 2.6 tok/s | 24 GB | 1 | L0 自报 |
| NVIDIA RTX 3090 Ti | llama.cpp | IQ2_XS | 3.1 tok/s | 24 GB | 1 | L0 自报 |
| NVIDIA RTX 3090 Ti | llama.cpp | IQ3_S | 2.5 tok/s | 24 GB | 1 | L0 自报 |
| NVIDIA RTX 3090 Ti | vLLM | IQ2_XS | 3.3 tok/s | 24 GB | 1 | L0 自报 |
| NVIDIA RTX 3090 Ti | vLLM | IQ3_S | 2.8 tok/s | 24 GB | 1 | L0 自报 |
| NVIDIA RTX 5070 Ti | llama.cpp | IQ2_XS | 2.7 tok/s | 16 GB | 1 | L0 自报 |
| NVIDIA RTX 5070 Ti | llama.cpp | IQ3_S | 2.3 tok/s | 16 GB | 1 | L0 自报 |
| NVIDIA RTX 5070 Ti | vLLM | IQ2_XS | 3 tok/s | 16 GB | 1 | L0 自报 |
| NVIDIA RTX 5070 Ti | vLLM | IQ3_S | 2.5 tok/s | 16 GB | 1 | L0 自报 |
| NVIDIA RTX PRO 5000 Blackwell | vLLM | IQ3_S | 3.7 tok/s | 48 GB | 1 | L0 自报 |
| 2x NVIDIA RTX 5090 | vLLM | IQ3_S | — | 64 GB | 1 | L0 自报 |
| Apple M5 Max | llama.cpp | IQ3_S | 1.5 tok/s | 128 GB | 1 | L0 自报 |
| NVIDIA RTX 5090 | vLLM | IQ3_S | 4.9 tok/s | 32 GB | 1 | L0 自报 |
| NVIDIA RTX 4090 | vLLM | IQ2_XS | 3.3 tok/s | 24 GB | 1 | L0 自报 |
其中 40 条实测未关联到具体量化版本,完整数据见搜索页。