DeepSeek-V4 系列的 MoE 模型：284B 总参数 / 13B 激活，1M 上下文，MIT 许可。混合注意力（CSA + HCA）把长上下文的 KV cache 压到 V3.2 的约十分之一。
0
量化版本
32
实测记录
1
讨论数
量化版本
社区与官方发布的量化版本；「关联实测」只统计精确关联到该发布的实测记录。
还没有已收录的量化版本。
实测数据
共 32 组配置
| 硬件 | 框架 | 量化 | 生成速度 | 运行显存 | 实测次数 | 证据 |
|---|---|---|---|---|---|---|
| NVIDIA RTX 4080 Super | vLLM | Q4_K_M | 3.6 tok/s | 16 GB | 1 | L0 自报 |
| NVIDIA RTX 4080 Super | vLLM | IQ3_S | 5.4 tok/s | 16 GB | 1 | L0 自报 |
| NVIDIA RTX 4080 Super | vLLM | IQ4_XS | 4.1 tok/s | 16 GB | 1 | L0 自报 |
| NVIDIA RTX 4080 Super | llama.cpp | Q4_K_M | 3.3 tok/s | 16 GB | 1 | L0 自报 |
| NVIDIA RTX 4080 Super | llama.cpp | IQ3_S | 5 tok/s | 16 GB | 1 | L0 自报 |
| NVIDIA RTX 4080 Super | llama.cpp | IQ4_XS | 3.7 tok/s | 16 GB | 1 | L0 自报 |
| NVIDIA RTX 5070 Ti | vLLM | Q4_K_M | 4.4 tok/s | 16 GB | 1 | L0 自报 |
| NVIDIA RTX 5070 Ti | vLLM | IQ3_S | 6.6 tok/s | 16 GB | 1 | L0 自报 |
| NVIDIA RTX 5070 Ti | vLLM | IQ4_XS | 5 tok/s | 16 GB | 1 | L0 自报 |
| NVIDIA RTX 5070 Ti | llama.cpp | Q4_K_M | 4.1 tok/s | 16 GB | 1 | L0 自报 |
| NVIDIA RTX 5070 Ti | llama.cpp | IQ3_S | 6.1 tok/s | 16 GB | 1 | L0 自报 |
| NVIDIA RTX 5070 Ti | llama.cpp | IQ4_XS | 4.6 tok/s | 16 GB | 1 | L0 自报 |
| NVIDIA RTX 5090 | vLLM | Q4_K_M | 8.8 tok/s | 32 GB | 1 | L0 自报 |
| NVIDIA RTX 5090 | vLLM | IQ4_XS | 9.9 tok/s | 32 GB | 1 | L0 自报 |
| NVIDIA RTX 5090 | llama.cpp | Q4_K_M | 8.1 tok/s | 32 GB | 1 | L0 自报 |
| NVIDIA RTX 5090 | llama.cpp | IQ3_S | 12.2 tok/s | 32 GB | 1 | L0 自报 |
| NVIDIA RTX 5090 | llama.cpp | IQ4_XS | 9.1 tok/s | 32 GB | 1 | L0 自报 |
| NVIDIA RTX 4090 | vLLM | Q4_K_M | 5 tok/s | 24 GB | 1 | L0 自报 |
| NVIDIA RTX 4090 | vLLM | IQ4_XS | 5.6 tok/s | 24 GB | 1 | L0 自报 |
| NVIDIA RTX 4090 | llama.cpp | Q4_K_M | 4.6 tok/s | 24 GB | 1 | L0 自报 |
| NVIDIA RTX 4090 | llama.cpp | IQ3_S | 6.8 tok/s | 24 GB | 1 | L0 自报 |
| NVIDIA RTX 4090 | llama.cpp | IQ4_XS | 5.1 tok/s | 24 GB | 1 | L0 自报 |
| Apple M5 Max | llama.cpp | IQ3_S | 4.2 tok/s | 115.5 GB | 1 | L0 自报 |
| Apple M4 Max | llama.cpp | IQ3_S | 3.7 tok/s | 115.5 GB | 1 | L0 自报 |
| NVIDIA RTX 3060 12GB | llama.cpp | IQ2_XXS | 3.5 tok/s | 12 GB | 1 | L0 自报 |
| NVIDIA RTX 3090 | llama.cpp | IQ3_S | 6.3 tok/s | 24 GB | 1 | L0 自报 |
| NVIDIA RTX 5070 Ti | Strata | IQ2_XS | 9.3 tok/s | 16 GB | 1 | L0 自报 |
| NVIDIA RTX 5070 | llama.cpp | IQ2_XS | 5.5 tok/s | 12 GB | 1 | L0 自报 |
| NVIDIA RTX 5090 | vLLM | IQ3_S | 13.2 tok/s | 32 GB | 1 | L0 自报 |
| NVIDIA RTX 4090 | vLLM | IQ3_S | 7.5 tok/s | 24 GB | 1 | L0 自报 |
| 2x NVIDIA RTX 5090 | llama.cpp | UD-IQ2_XXS | 19.4 tok/s | 51.17 GB | 1 | L0 自报 |
| 4x NVIDIA RTX 3090 | llama.cpp | UD-IQ2_XXS | 35.7 tok/s | 87.16 GB | 1 | L0 自报 |
其中 32 条实测未关联到具体量化版本，完整数据见搜索页。