Qwen3-8B

Name: Qwen3-8B
Author: Qwen

8B对话由 Qwen 发布发起讨论

量化版本

实测记录

量化版本

社区与官方发布的量化版本；「关联实测」只统计精确关联到该发布的实测记录。

还没有已收录的量化版本。

共 18 组配置

硬件	框架	量化	生成速度	运行显存	实测次数	证据
NVIDIA RTX 5060 SUPER	llama.cpp	Q8_0	40.6 tok/s	9.1 GB	1	L0 自报
NVIDIA RTX 5060 SUPER	llama.cpp	Q5_K_M	59.2 tok/s	6.4 GB	1	L0 自报
NVIDIA RTX 5060 SUPER	llama.cpp	Q4_K_M	71.3 tok/s	5.4 GB	1	L0 自报
NVIDIA RTX 5070 SUPER	llama.cpp	Q8_0	81.3 tok/s	9.1 GB	1	L0 自报
NVIDIA RTX 5070 SUPER	llama.cpp	Q5_K_M	118.5 tok/s	6.4 GB	1	L0 自报
NVIDIA RTX 5070 SUPER	llama.cpp	Q4_K_M	142.6 tok/s	5.4 GB	1	L0 自报
NVIDIA RTX 3090	llama.cpp	Q8_0	84.9 tok/s	9.1 GB	1	L0 自报
NVIDIA RTX 3090	llama.cpp	Q5_K_M	123.7 tok/s	6.4 GB	1	L0 自报
NVIDIA RTX 3090	llama.cpp	Q4_K_M	149 tok/s	5.4 GB	1	L0 自报
NVIDIA RTX 5070	llama.cpp	Q8_0	60.9 tok/s	9.1 GB	1	L0 自报
NVIDIA RTX 5070	llama.cpp	Q5_K_M	88.8 tok/s	6.4 GB	1	L0 自报
NVIDIA RTX 5070	llama.cpp	Q4_K_M	107 tok/s	5.4 GB	1	L0 自报
NVIDIA RTX 5090	llama.cpp	Q8_0	162.5 tok/s	9.1 GB	1	L0 自报
NVIDIA RTX 5090	llama.cpp	Q5_K_M	236.9 tok/s	6.4 GB	1	L0 自报
NVIDIA RTX 5090	llama.cpp	Q4_K_M	285.3 tok/s	5.4 GB	1	L0 自报
NVIDIA RTX 4090	llama.cpp	Q8_0	91.4 tok/s	9.1 GB	1	L0 自报
NVIDIA RTX 4090	llama.cpp	Q5_K_M	133.3 tok/s	6.4 GB	1	L0 自报
NVIDIA RTX 4090	llama.cpp	Q4_K_M	160.5 tok/s	5.4 GB	1	L0 自报

其中 18 条实测未关联到具体量化版本，完整数据见搜索页。

还没有讨论——发起第一个话题吧。