Muse-Glimmer-30B

30B对话 发起讨论

0

量化版本

12

实测记录

量化版本

社区与官方发布的量化版本;「关联实测」只统计精确关联到该发布的实测记录。

还没有已收录的量化版本。

实测数据

共 12 组配置

硬件框架量化生成速度运行显存实测次数证据
NVIDIA RTX 5070 TivLLMIQ2_XS75.4 tok/s10.6 GB1L0 自报
NVIDIA RTX 5070 TivLLMQ4_K_M41.8 tok/s16 GB1L0 自报
NVIDIA RTX 5070 Tillama.cppIQ2_XS69.2 tok/s10.6 GB1L0 自报
NVIDIA RTX 5070 Tillama.cppQ4_K_M38.4 tok/s16 GB1L0 自报
NVIDIA RTX 5090vLLMIQ2_XS150.8 tok/s10.6 GB1L0 自报
NVIDIA RTX 5090vLLMQ4_K_M83.7 tok/s18.7 GB1L0 自报
NVIDIA RTX 5090llama.cppIQ2_XS138.4 tok/s10.6 GB1L0 自报
NVIDIA RTX 5090llama.cppQ4_K_M76.8 tok/s18.7 GB1L0 自报
NVIDIA RTX 4090vLLMIQ2_XS84.8 tok/s10.6 GB1L0 自报
NVIDIA RTX 4090vLLMQ4_K_M47.1 tok/s18.7 GB1L0 自报
NVIDIA RTX 4090llama.cppIQ2_XS77.8 tok/s10.6 GB1L0 自报
NVIDIA RTX 4090llama.cppQ4_K_M43.2 tok/s18.7 GB1L0 自报

其中 12 条实测未关联到具体量化版本,完整数据见搜索页。

社区讨论

还没有讨论——发起第一个话题吧。

发起讨论