Qwen3-30B-A3B

Name: Qwen3-30B-A3B
Author: Qwen

30B对话由 Qwen 发布发起讨论

量化版本

实测记录

量化版本

社区与官方发布的量化版本；「关联实测」只统计精确关联到该发布的实测记录。

还没有已收录的量化版本。

实测数据

共 30 组配置

硬件	框架	量化	生成速度	运行显存	实测次数	证据
NVIDIA RTX 5080 SUPER	vLLM	Q8_0	29.4 tok/s	24 GB	1	L0 自报
NVIDIA RTX 5080 SUPER	vLLM	Q5_K_M	42.7 tok/s	22.8 GB	1	L0 自报
NVIDIA RTX 5080 SUPER	vLLM	Q4_K_M	52.3 tok/s	18.7 GB	1	L0 自报
NVIDIA RTX 5080 SUPER	llama.cpp	Q8_0	27 tok/s	24 GB	1	L0 自报
NVIDIA RTX 5080 SUPER	llama.cpp	Q5_K_M	39.2 tok/s	22.8 GB	1	L0 自报
NVIDIA RTX 5080 SUPER	llama.cpp	Q4_K_M	48 tok/s	18.7 GB	1	L0 自报
NVIDIA RTX 5070 SUPER	vLLM	Q8_0	23.5 tok/s	18 GB	1	L0 自报
NVIDIA RTX 5070 SUPER	vLLM	Q5_K_M	34.2 tok/s	18 GB	1	L0 自报
NVIDIA RTX 5070 SUPER	vLLM	Q4_K_M	41.8 tok/s	18 GB	1	L0 自报
NVIDIA RTX 5070 SUPER	llama.cpp	Q8_0	21.6 tok/s	18 GB	1	L0 自报
NVIDIA RTX 5070 SUPER	llama.cpp	Q5_K_M	31.3 tok/s	18 GB	1	L0 自报
NVIDIA RTX 5070 SUPER	llama.cpp	Q4_K_M	38.4 tok/s	18 GB	1	L0 自报
NVIDIA RTX 5070 Ti	vLLM	Q8_0	23.5 tok/s	16 GB	1	L0 自报
NVIDIA RTX 5070 Ti	vLLM	Q5_K_M	34.2 tok/s	16 GB	1	L0 自报
NVIDIA RTX 5070 Ti	vLLM	Q4_K_M	41.8 tok/s	16 GB	1	L0 自报
NVIDIA RTX 5070 Ti	llama.cpp	Q8_0	21.6 tok/s	16 GB	1	L0 自报
NVIDIA RTX 5070 Ti	llama.cpp	Q5_K_M	31.3 tok/s	16 GB	1	L0 自报
NVIDIA RTX 5070 Ti	llama.cpp	Q4_K_M	38.4 tok/s	16 GB	1	L0 自报
NVIDIA RTX 5090	vLLM	Q8_0	47 tok/s	32 GB	1	L0 自报
NVIDIA RTX 5090	vLLM	Q5_K_M	68.3 tok/s	22.8 GB	1	L0 自报
NVIDIA RTX 5090	vLLM	Q4_K_M	83.7 tok/s	18.7 GB	1	L0 自报
NVIDIA RTX 5090	llama.cpp	Q8_0	43.1 tok/s	32 GB	1	L0 自报
NVIDIA RTX 5090	llama.cpp	Q5_K_M	62.7 tok/s	22.8 GB	1	L0 自报
NVIDIA RTX 5090	llama.cpp	Q4_K_M	76.8 tok/s	18.7 GB	1	L0 自报
NVIDIA RTX 4090	vLLM	Q8_0	26.4 tok/s	24 GB	1	L0 自报
NVIDIA RTX 4090	vLLM	Q5_K_M	38.4 tok/s	22.8 GB	1	L0 自报
NVIDIA RTX 4090	vLLM	Q4_K_M	47.1 tok/s	18.7 GB	1	L0 自报
NVIDIA RTX 4090	llama.cpp	Q8_0	24.3 tok/s	24 GB	1	L0 自报
NVIDIA RTX 4090	llama.cpp	Q5_K_M	35.3 tok/s	22.8 GB	1	L0 自报
NVIDIA RTX 4090	llama.cpp	Q4_K_M	43.2 tok/s	18.7 GB	1	L0 自报

其中 30 条实测未关联到具体量化版本，完整数据见搜索页。

社区讨论

还没有讨论——发起第一个话题吧。

发起讨论