Qwen2.5-Omni-3B

3B对话由 Qwen 发布 发起讨论

0

量化版本

106

实测记录

量化版本

社区与官方发布的量化版本;「关联实测」只统计精确关联到该发布的实测记录。

还没有已收录的量化版本。

实测数据

共 50 组配置

硬件框架量化生成速度运行显存实测次数证据
NVIDIA RTX 5090llama.cppIQ4_XS375.4 tok/s6.76 GB1L2 跨框架验证
NVIDIA RTX 5090llama.cppQ6_K277.8 tok/s8.4 GB1L2 跨框架验证
NVIDIA RTX 5090StrataFP16238.8 tok/s13.76 GB1L2 跨框架验证
NVIDIA RTX 5090StrataIQ3_S359.6 tok/s6.26 GB1L2 跨框架验证
AMD Ryzen AI Max+ 395vLLMIQ3_S201.2 tok/s6.26 GB1L2 跨框架验证
AMD Ryzen AI Max+ 395vLLMQ2_K204.5 tok/s5.57 GB1L2 跨框架验证
AMD Ryzen AI Max+ 395StrataQ4_K_M218.6 tok/s7.27 GB1L2 跨框架验证
AMD Ryzen AI Max+ 395StrataQ8_0147.9 tok/s9.35 GB1L2 跨框架验证
Apple M5 Maxllama.cppIQ3_S341.3 tok/s6.26 GB2L2 跨框架验证
Apple M5 Maxllama.cppQ6_K221.2 tok/s8.4 GB1L2 跨框架验证
Apple M5 MaxStrataQ8_0241.3 tok/s9.35 GB1L2 跨框架验证
NVIDIA DGX SparkvLLMQ3_K_M258.6 tok/s6.38 GB1L2 跨框架验证
NVIDIA DGX SparkvLLMQ5_K_M183.8 tok/s7.96 GB1L2 跨框架验证
NVIDIA DGX SparkOllamaIQ2_M292.7 tok/s5.38 GB1L2 跨框架验证
NVIDIA Jetson AGX Orin 64GBvLLMIQ1_S135.2 tok/s4.75 GB1L2 跨框架验证
NVIDIA Jetson AGX Orin 64GBvLLMQ2_K119 tok/s5.57 GB1L2 跨框架验证
NVIDIA Jetson AGX Orin 64GBStrataQ3_K_S147.6 tok/s6.2 GB1L2 跨框架验证
AMD Strix Halo (Radeon 8060S)llama.cppIQ4_XS127.7 tok/s6.76 GB1L2 跨框架验证
AMD Strix Halo (Radeon 8060S)OllamaQ4_K_S115.7 tok/s7.01 GB1L2 跨框架验证
AMD Strix Halo (Radeon 8060S)OllamaQ5_K_M87.9 tok/s7.96 GB1L2 跨框架验证
2x AMD Strix Halollama.cppIQ2_XS273.1 tok/s5.12 GB1L2 跨框架验证
2x AMD Strix Halollama.cppIQ3_S239.1 tok/s6.26 GB1L2 跨框架验证
2x AMD Strix HalovLLMQ5_K_M183.5 tok/s7.96 GB1L2 跨框架验证
2x AMD Strix HalovLLMQ6_K171.2 tok/s8.4 GB1L2 跨框架验证
AMD Strix Point (Radeon 890M)OllamaIQ2_M98.8 tok/s5.38 GB1L2 跨框架验证
AMD Strix Point (Radeon 890M)OllamaQ6_K60.3 tok/s8.4 GB1L2 跨框架验证
AMD Strix Point (Radeon 890M)StrataIQ3_S128.2 tok/s6.26 GB1L2 跨框架验证
Intel Arc A770 16GBllama.cppIQ2_XS113.1 tok/s5.12 GB2L2 跨框架验证
Intel Arc A770 16GBvLLMIQ2_M105.2 tok/s5.38 GB1L2 跨框架验证
Intel Arc A770 16GBvLLMIQ4_XS86.8 tok/s6.76 GB1L2 跨框架验证
Intel Arc 140VOllamaQ3_K_M80.3 tok/s6.38 GB1L2 跨框架验证
Intel Arc 140VOllamaQ6_K49.4 tok/s8.4 GB1L2 跨框架验证
Intel Arc 140VStrataQ5_K_S92.4 tok/s7.77 GB1L2 跨框架验证
Apple M1OllamaIQ3_XS74.2 tok/s6.01 GB1L2 跨框架验证
Apple M1OllamaQ6_K48.4 tok/s8.4 GB1L2 跨框架验证
Apple M1StrataQ3_K_M114.6 tok/s6.38 GB1L2 跨框架验证
Apple M1 ProvLLMQ5_K_M93.6 tok/s7.96 GB1L2 跨框架验证
Apple M1 ProvLLMQ5_K_S89 tok/s7.77 GB1L2 跨框架验证
Apple M1 ProOllamaIQ1_S134.1 tok/s4.75 GB1L2 跨框架验证
Apple M1 ProOllamaQ2_K116.7 tok/s5.57 GB1L2 跨框架验证
Apple M1 Maxllama.cppFP1657.8 tok/s13.76 GB1L2 跨框架验证
Apple M1 Maxllama.cppQ3_K_M128.8 tok/s6.38 GB1L2 跨框架验证
Apple M1 MaxOllamaQ4_K_S116.7 tok/s7.01 GB1L2 跨框架验证
Apple M2 ProvLLMIQ1_S161.8 tok/s4.75 GB1L2 跨框架验证
Apple M2 ProOllamaIQ2_XS130.3 tok/s5.12 GB1L2 跨框架验证
Apple M2 ProOllamaQ3_K_L100.8 tok/s6.64 GB1L2 跨框架验证
Apple M2 Ultrallama.cppIQ2_XS215.2 tok/s5.12 GB1L2 跨框架验证
Apple M2 Ultrallama.cppQ3_K_M171.1 tok/s6.38 GB1L2 跨框架验证
Apple M2 UltravLLMQ4_K_M157.8 tok/s7.27 GB1L2 跨框架验证
Qualcomm Snapdragon X ElitevLLMIQ2_XS103.6 tok/s5.12 GB1L2 跨框架验证

其中 106 条实测未关联到具体量化版本,完整数据见搜索页。

社区讨论

还没有讨论——发起第一个话题吧。

发起讨论