Qwen2.5-Omni-3B

Name: Qwen2.5-Omni-3B
Author: Qwen

3B对话由 Qwen 发布发起讨论

量化版本

实测记录

量化版本

社区与官方发布的量化版本；「关联实测」只统计精确关联到该发布的实测记录。

还没有已收录的量化版本。

共 18 组配置

硬件	框架	量化	生成速度	运行显存	实测次数	证据
NVIDIA RTX 5060 SUPER	llama.cpp	Q8_0	109.2 tok/s	3.7 GB	1	L0 自报
NVIDIA RTX 5060 SUPER	llama.cpp	Q5_K_M	158.8 tok/s	2.7 GB	1	L0 自报
NVIDIA RTX 5060 SUPER	llama.cpp	Q4_K_M	194.1 tok/s	2.3 GB	1	L0 自报
NVIDIA RTX 5070 SUPER	llama.cpp	Q8_0	218.4 tok/s	3.7 GB	1	L0 自报
NVIDIA RTX 5070 SUPER	llama.cpp	Q5_K_M	317.7 tok/s	2.7 GB	1	L0 自报
NVIDIA RTX 5070 SUPER	llama.cpp	Q4_K_M	388.3 tok/s	2.3 GB	1	L0 自报
NVIDIA RTX 3090	llama.cpp	Q8_0	228.2 tok/s	3.7 GB	1	L0 自报
NVIDIA RTX 3090	llama.cpp	Q5_K_M	331.9 tok/s	2.7 GB	1	L0 自报
NVIDIA RTX 3090	llama.cpp	Q4_K_M	405.6 tok/s	2.3 GB	1	L0 自报
NVIDIA RTX 5070	llama.cpp	Q8_0	163.8 tok/s	3.7 GB	1	L0 自报
NVIDIA RTX 5070	llama.cpp	Q5_K_M	238.3 tok/s	2.7 GB	1	L0 自报
NVIDIA RTX 5070	llama.cpp	Q4_K_M	291.2 tok/s	2.3 GB	1	L0 自报
NVIDIA RTX 5090	llama.cpp	Q8_0	436.8 tok/s	3.7 GB	1	L0 自报
NVIDIA RTX 5090	llama.cpp	Q5_K_M	635.3 tok/s	2.7 GB	1	L0 自报
NVIDIA RTX 5090	llama.cpp	Q4_K_M	776.5 tok/s	2.3 GB	1	L0 自报
NVIDIA RTX 4090	llama.cpp	Q8_0	245.7 tok/s	3.7 GB	1	L0 自报
NVIDIA RTX 4090	llama.cpp	Q5_K_M	357.4 tok/s	2.7 GB	1	L0 自报
NVIDIA RTX 4090	llama.cpp	Q4_K_M	436.8 tok/s	2.3 GB	1	L0 自报

其中 18 条实测未关联到具体量化版本，完整数据见搜索页。

还没有讨论——发起第一个话题吧。