Qwen3.5-35B-A3B

36B对话由 Qwen (Alibaba) 发布 发起讨论

Qwen (Alibaba) 2026-02-24 发布的开权重图文理解模型,36.0B 总参数 / 约 3B 激活,Apache-2.0 许可。MoE 架构:36B 总参数 / 约 3B 激活,适合显存受限但要更大知识池的场景。

0

量化版本

25

实测记录

量化版本

社区与官方发布的量化版本;「关联实测」只统计精确关联到该发布的实测记录。

还没有已收录的量化版本。

实测数据

共 25 组配置

硬件框架量化生成速度运行显存实测次数证据
Apple M3 MaxOllamaIQ2_M78.9 tok/s34.2 GB1L2 跨框架验证
Apple M3 MaxStrataIQ2_M121.5 tok/s34.2 GB1L2 跨框架验证
NVIDIA RTX 5090vLLMIQ1_S227.8 tok/s30.4 GB1L2 跨框架验证
Apple M4 MaxvLLMIQ4_XS115.3 tok/s58.04 GB1L2 跨框架验证
Apple M4 MaxvLLMQ4_K_S115.9 tok/s61.07 GB1L2 跨框架验证
Apple M4 MaxOllamaIQ2_XS138 tok/s38.39 GB1L2 跨框架验证
NVIDIA RTX 4080 Superllama.cppQ6_K18.2 tok/s16 GB1L0 自报
NVIDIA RTX 4080 Superllama.cppQ5_K_S23.6 tok/s16 GB1L0 自报
NVIDIA RTX 4080 Superllama.cppIQ3_S39.3 tok/s15.1 GB1L0 自报
NVIDIA RTX 4080 Superllama.cppIQ4_XS29.6 tok/s16 GB1L0 自报
NVIDIA RTX 5070 Tillama.cppQ6_K22.1 tok/s16 GB1L0 自报
NVIDIA RTX 5070 Tillama.cppQ5_K_S28.8 tok/s16 GB1L0 自报
NVIDIA RTX 5070 Tillama.cppIQ3_S47.9 tok/s15.1 GB1L0 自报
NVIDIA RTX 5070 Tillama.cppIQ4_XS36 tok/s16 GB1L0 自报
NVIDIA RTX 5090llama.cppQ6_K44.2 tok/s32 GB1L0 自报
NVIDIA RTX 5090llama.cppQ5_K_S57.5 tok/s24.8 GB1L0 自报
NVIDIA RTX 5090llama.cppIQ3_S95.7 tok/s15.1 GB1L0 自报
NVIDIA RTX 5090llama.cppIQ4_XS72 tok/s19.9 GB1L0 自报
NVIDIA RTX 4090llama.cppQ6_K24.9 tok/s24 GB1L0 自报
NVIDIA RTX 4090llama.cppQ5_K_S32.4 tok/s24 GB1L0 自报
NVIDIA RTX 4090llama.cppIQ3_S53.9 tok/s15.1 GB1L0 自报
NVIDIA RTX 4090llama.cppIQ4_XS40.5 tok/s19.9 GB1L0 自报
Apple M5 Maxllama.cppQ4_K_M21.9 tok/s22.4 GB1L0 自报
NVIDIA RTX 5090vLLMQ4_K_M69.6 tok/s22.4 GB1L0 自报
NVIDIA RTX 4090llama.cppQ4_K_M35.9 tok/s22.4 GB1L0 自报

其中 25 条实测未关联到具体量化版本,完整数据见搜索页。

社区讨论

还没有讨论——发起第一个话题吧。

发起讨论