Qwen-AgentWorld-35B-A3B

Name: Qwen-AgentWorld-35B-A3B
Author: Qwen

35B对话由 Qwen 发布发起讨论

量化版本

实测记录

量化版本

社区与官方发布的量化版本；「关联实测」只统计精确关联到该发布的实测记录。

还没有已收录的量化版本。

共 20 组配置

硬件	框架	量化	生成速度	运行显存	实测次数	证据
NVIDIA RTX 5080 SUPER	vLLM	Q5_K_M	36.6 tok/s	24 GB	1	L0 自报
NVIDIA RTX 5080 SUPER	vLLM	Q4_K_M	44.7 tok/s	21.8 GB	1	L0 自报
NVIDIA RTX 5080 SUPER	llama.cpp	Q5_K_M	33.6 tok/s	24 GB	1	L0 自报
NVIDIA RTX 5080 SUPER	llama.cpp	Q4_K_M	41 tok/s	21.8 GB	1	L0 自报
NVIDIA RTX 5070 SUPER	vLLM	Q5_K_M	29.3 tok/s	18 GB	1	L0 自报
NVIDIA RTX 5070 SUPER	vLLM	Q4_K_M	35.8 tok/s	18 GB	1	L0 自报
NVIDIA RTX 5070 SUPER	llama.cpp	Q5_K_M	26.9 tok/s	18 GB	1	L0 自报
NVIDIA RTX 5070 SUPER	llama.cpp	Q4_K_M	32.8 tok/s	18 GB	1	L0 自报
NVIDIA RTX 5070 Ti	vLLM	Q5_K_M	29.3 tok/s	16 GB	1	L0 自报
NVIDIA RTX 5070 Ti	vLLM	Q4_K_M	35.8 tok/s	16 GB	1	L0 自报
NVIDIA RTX 5070 Ti	llama.cpp	Q5_K_M	26.9 tok/s	16 GB	1	L0 自报
NVIDIA RTX 5070 Ti	llama.cpp	Q4_K_M	32.8 tok/s	16 GB	1	L0 自报
NVIDIA RTX 5090	vLLM	Q5_K_M	58.6 tok/s	26.5 GB	1	L0 自报
NVIDIA RTX 5090	vLLM	Q4_K_M	71.5 tok/s	21.8 GB	1	L0 自报
NVIDIA RTX 5090	llama.cpp	Q5_K_M	53.8 tok/s	26.5 GB	1	L0 自报
NVIDIA RTX 5090	llama.cpp	Q4_K_M	65.6 tok/s	21.8 GB	1	L0 自报
NVIDIA RTX 4090	vLLM	Q5_K_M	33 tok/s	24 GB	1	L0 自报
NVIDIA RTX 4090	vLLM	Q4_K_M	40.2 tok/s	21.8 GB	1	L0 自报
NVIDIA RTX 4090	llama.cpp	Q5_K_M	30.2 tok/s	24 GB	1	L0 自报
NVIDIA RTX 4090	llama.cpp	Q4_K_M	36.9 tok/s	21.8 GB	1	L0 自报

其中 20 条实测未关联到具体量化版本，完整数据见搜索页。

还没有讨论——发起第一个话题吧。