Qwen3.8-27B

27B对话由 Qwen (Alibaba) 发布 发起讨论

Qwen3.8 世代的 27B 稠密原生视觉语言模型,Apache-2.0。支持图片与视频理解、可调思考深度(reasoning_effort),面向长程 agent 任务;Q4 量化约需 24GB 显存。

101

量化版本

122

实测记录

2

讨论数

量化版本

社区与官方发布的量化版本;「关联实测」只统计精确关联到该发布的实测记录。

发布者 / 仓库固定版本格式 · 量化总大小关联实测更新时间详情
RadixArk仓库319f741cce68d7914884900c138a1fbb70a42f30Safetensors · NVFP420.42 GB1 条实测2026-09-26查看版本
AtomicChat仓库ca10ebceb1887be9d33b838770a36b39d75a8a4cGGUF · Q8_026.9 GB暂无关联实测2026-09-26查看版本
AtomicChat仓库ca10ebceb1887be9d33b838770a36b39d75a8a4cGGUF · AD-Q6_K23.29 GB暂无关联实测2026-09-26查看版本
AtomicChat仓库ca10ebceb1887be9d33b838770a36b39d75a8a4cGGUF · AD-Q6_K-Q5_K21.5 GB暂无关联实测2026-09-26查看版本
AtomicChat仓库ca10ebceb1887be9d33b838770a36b39d75a8a4cGGUF · AD-Q5_K_M18.84 GB暂无关联实测2026-09-26查看版本
AtomicChat仓库ca10ebceb1887be9d33b838770a36b39d75a8a4cGGUF · AD-Q5_K_M-Q4_K_M17.27 GB暂无关联实测2026-09-26查看版本
AtomicChat仓库ca10ebceb1887be9d33b838770a36b39d75a8a4cGGUF · AD-Q4_K_M15.94 GB暂无关联实测2026-09-26查看版本
AtomicChat仓库ca10ebceb1887be9d33b838770a36b39d75a8a4cGGUF · AD-IQ4_XS15.38 GB暂无关联实测2026-09-26查看版本
AtomicChat仓库ca10ebceb1887be9d33b838770a36b39d75a8a4cGGUF · AD-IQ4_XS-IQ3_S13.45 GB暂无关联实测2026-09-26查看版本
AtomicChat仓库ca10ebceb1887be9d33b838770a36b39d75a8a4cGGUF · AD-IQ3_XXS11.25 GB暂无关联实测2026-09-26查看版本
AtomicChat仓库ca10ebceb1887be9d33b838770a36b39d75a8a4cGGUF · AD-IQ3_S12.89 GB暂无关联实测2026-09-26查看版本
AtomicChat仓库ca10ebceb1887be9d33b838770a36b39d75a8a4cGGUF · AD-IQ3_S-IQ3_XXS12.09 GB暂无关联实测2026-09-26查看版本
AtomicChat仓库ca10ebceb1887be9d33b838770a36b39d75a8a4cGGUF · AD-IQ2_XXS8.36 GB暂无关联实测2026-09-26查看版本
AtomicChat仓库ca10ebceb1887be9d33b838770a36b39d75a8a4cGGUF · AD-IQ2_XS9.21 GB暂无关联实测2026-09-26查看版本
AtomicChat仓库ca10ebceb1887be9d33b838770a36b39d75a8a4cGGUF · AD-IQ2_S10.38 GB暂无关联实测2026-09-26查看版本
AtomicChat仓库ca10ebceb1887be9d33b838770a36b39d75a8a4cGGUF · AD-IQ2_S-IQ2_XS9.52 GB暂无关联实测2026-09-26查看版本
AtomicChat仓库ca10ebceb1887be9d33b838770a36b39d75a8a4cGGUF · AD-IQ1_M7.91 GB暂无关联实测2026-09-26查看版本
byteshape仓库3fdfbd9b4a618303ad36edb151e95d134ece8c18GGUF · IQ4_XS12.18 GB暂无关联实测2026-09-26查看版本
byteshape仓库3fdfbd9b4a618303ad36edb151e95d134ece8c18GGUF · IQ3_XXS9.24 GB暂无关联实测2026-09-26查看版本
byteshape仓库3fdfbd9b4a618303ad36edb151e95d134ece8c18GGUF · IQ3_XS9.64 GB暂无关联实测2026-09-26查看版本
byteshape仓库3fdfbd9b4a618303ad36edb151e95d134ece8c18GGUF · IQ3_S10.28 GB暂无关联实测2026-09-26查看版本
byteshape仓库3fdfbd9b4a618303ad36edb151e95d134ece8c18GGUF · IQ2_XXS8.24 GB暂无关联实测2026-09-26查看版本
ISTA-DASLab仓库d562806dbafae37109975e970aae91b43e73b440GGUF · GSQ-RCO-IQ3_XXS9.4 GB暂无关联实测2026-09-26查看版本
ISTA-DASLab仓库d562806dbafae37109975e970aae91b43e73b440GGUF · GSQ-RCO-IQ3_S10.96 GB暂无关联实测2026-09-26查看版本
ISTA-DASLab仓库d562806dbafae37109975e970aae91b43e73b440GGUF · GSQ-RCO-IQ2_XS7.84 GB暂无关联实测2026-09-26查看版本
ISTA-DASLab仓库d562806dbafae37109975e970aae91b43e73b440GGUF · GSQ-RCO-IQ2_S8.62 GB暂无关联实测2026-09-26查看版本
cdiamond仓库ac343e8f44caef0896f79d372ecc07ef7ab34ec8GGUF · iMatrix-NVFP415.95 GB暂无关联实测2026-09-26查看版本
AMD仓库0f7ee2559e8dbc25879e1fe1677b2b10708b91a9safetensors · AWQ INT4 (W4A16)18.17 GB暂无关联实测2026-09-26查看版本
cyankiwi仓库6e134bae811fb5adac50ee042ae5f029ac6779aasafetensors · AWQ INT4 (W4A16)19.57 GB暂无关联实测2026-09-26查看版本
Red Hat AI仓库c063053e004e9783631651df95cf55d0bbf88b32safetensors · GPTQ INT4 (W4A16)17.33 GB暂无关联实测2026-09-26查看版本
Red Hat AI仓库d23c6ff198a005532746610e9d719c9f6d27a2b1safetensors · NVFP422.2 GB暂无关联实测2026-09-26查看版本
NVIDIA仓库482ca0f3832238542f8f5295dde86b5f22711d80safetensors · NVFP420.42 GB暂无关联实测2026-09-26查看版本
mlx-community仓库815b83c0df8ffd1d1b5244cf75fd6ef14fca9ef9MLX · 8bit27.48 GB暂无关联实测2026-09-26查看版本
mlx-community仓库10c35caafbb80f7dc6a7a432cdd11af10a6d4818MLX · 4bit14.95 GB暂无关联实测2026-09-26查看版本
LM Studio仓库241ebb5f1d60b122fd653da658836a55feb9e2b0MLX · 8bit27.48 GB暂无关联实测2026-09-26查看版本
LM Studio仓库05f38c1f39e2f39619653616fe8e96a5d676358eMLX · 6bit21.21 GB暂无关联实测2026-09-26查看版本
LM Studio仓库b9ad7b92aa2fd07b041f4b8b3aa459941f8abbf7MLX · 5bit18.08 GB暂无关联实测2026-09-26查看版本
LM Studio仓库6067b15cf581666a4aecf6af3afaba4bb5efc20cMLX · 4bit14.95 GB暂无关联实测2026-09-26查看版本
LM Studio仓库5a7da681f60570ab5b439a587e912d2e5eddb582GGUF · Q8_027.05 GB暂无关联实测2026-09-26查看版本
LM Studio仓库5a7da681f60570ab5b439a587e912d2e5eddb582GGUF · Q6_K20.89 GB暂无关联实测2026-09-26查看版本
LM Studio仓库5a7da681f60570ab5b439a587e912d2e5eddb582GGUF · Q4_K_M15.66 GB暂无关联实测2026-09-26查看版本
bartowski仓库0c92138c51f112d2f0dc84d5f6d1ebe4b9912b9aGGUF · BF1650.9 GB暂无关联实测2026-09-26查看版本
bartowski仓库0c92138c51f112d2f0dc84d5f6d1ebe4b9912b9aGGUF · Q8_027.12 GB暂无关联实测2026-09-26查看版本
bartowski仓库0c92138c51f112d2f0dc84d5f6d1ebe4b9912b9aGGUF · Q6_K_S21.29 GB暂无关联实测2026-09-26查看版本
bartowski仓库0c92138c51f112d2f0dc84d5f6d1ebe4b9912b9aGGUF · Q6_K_L23.24 GB暂无关联实测2026-09-26查看版本
bartowski仓库0c92138c51f112d2f0dc84d5f6d1ebe4b9912b9aGGUF · Q6_K22.22 GB暂无关联实测2026-09-26查看版本
bartowski仓库0c92138c51f112d2f0dc84d5f6d1ebe4b9912b9aGGUF · Q5_K_S18.22 GB暂无关联实测2026-09-26查看版本
bartowski仓库0c92138c51f112d2f0dc84d5f6d1ebe4b9912b9aGGUF · Q5_K_M19.49 GB暂无关联实测2026-09-26查看版本
bartowski仓库0c92138c51f112d2f0dc84d5f6d1ebe4b9912b9aGGUF · Q5_K_L20.06 GB暂无关联实测2026-09-26查看版本
bartowski仓库0c92138c51f112d2f0dc84d5f6d1ebe4b9912b9aGGUF · Q4_K_S15.24 GB暂无关联实测2026-09-26查看版本
bartowski仓库0c92138c51f112d2f0dc84d5f6d1ebe4b9912b9aGGUF · Q4_K_M16.24 GB暂无关联实测2026-09-26查看版本
bartowski仓库0c92138c51f112d2f0dc84d5f6d1ebe4b9912b9aGGUF · Q4_K_L17.53 GB暂无关联实测2026-09-26查看版本
bartowski仓库0c92138c51f112d2f0dc84d5f6d1ebe4b9912b9aGGUF · Q4_116.6 GB暂无关联实测2026-09-26查看版本
bartowski仓库0c92138c51f112d2f0dc84d5f6d1ebe4b9912b9aGGUF · Q4_015.23 GB暂无关联实测2026-09-26查看版本
bartowski仓库0c92138c51f112d2f0dc84d5f6d1ebe4b9912b9aGGUF · Q3_K_XL15.27 GB暂无关联实测2026-09-26查看版本
bartowski仓库0c92138c51f112d2f0dc84d5f6d1ebe4b9912b9aGGUF · Q3_K_S11.86 GB暂无关联实测2026-09-26查看版本
bartowski仓库0c92138c51f112d2f0dc84d5f6d1ebe4b9912b9aGGUF · Q3_K_M12.48 GB暂无关联实测2026-09-26查看版本
bartowski仓库0c92138c51f112d2f0dc84d5f6d1ebe4b9912b9aGGUF · Q3_K_L13.15 GB暂无关联实测2026-09-26查看版本
bartowski仓库0c92138c51f112d2f0dc84d5f6d1ebe4b9912b9aGGUF · Q2_K_L12.18 GB暂无关联实测2026-09-26查看版本
bartowski仓库0c92138c51f112d2f0dc84d5f6d1ebe4b9912b9aGGUF · Q2_K10.08 GB暂无关联实测2026-09-26查看版本
bartowski仓库0c92138c51f112d2f0dc84d5f6d1ebe4b9912b9aGGUF · IQ4_XS14.41 GB暂无关联实测2026-09-26查看版本
bartowski仓库0c92138c51f112d2f0dc84d5f6d1ebe4b9912b9aGGUF · IQ4_NL16.24 GB暂无关联实测2026-09-26查看版本
bartowski仓库0c92138c51f112d2f0dc84d5f6d1ebe4b9912b9aGGUF · IQ3_XXS11.47 GB暂无关联实测2026-09-26查看版本
bartowski仓库0c92138c51f112d2f0dc84d5f6d1ebe4b9912b9aGGUF · IQ3_XS11.92 GB暂无关联实测2026-09-26查看版本
bartowski仓库0c92138c51f112d2f0dc84d5f6d1ebe4b9912b9aGGUF · IQ3_M13.84 GB暂无关联实测2026-09-26查看版本
bartowski仓库0c92138c51f112d2f0dc84d5f6d1ebe4b9912b9aGGUF · IQ2_XXS8.27 GB暂无关联实测2026-09-26查看版本
bartowski仓库0c92138c51f112d2f0dc84d5f6d1ebe4b9912b9aGGUF · IQ2_XS8.46 GB暂无关联实测2026-09-26查看版本
bartowski仓库0c92138c51f112d2f0dc84d5f6d1ebe4b9912b9aGGUF · IQ2_S9.02 GB暂无关联实测2026-09-26查看版本
bartowski仓库0c92138c51f112d2f0dc84d5f6d1ebe4b9912b9aGGUF · IQ2_M9.8 GB暂无关联实测2026-09-26查看版本
ggml-org (llama.cpp)仓库efbb3b1f70a21d97fd4495240648405f7228554fGGUF · Q8_026.63 GB暂无关联实测2026-09-26查看版本
ggml-org (llama.cpp)仓库efbb3b1f70a21d97fd4495240648405f7228554fGGUF · Q4_K_M17.67 GB暂无关联实测2026-09-26查看版本
ggml-org (llama.cpp)仓库efbb3b1f70a21d97fd4495240648405f7228554fGGUF · BF1650.11 GB暂无关联实测2026-09-26查看版本
Unsloth仓库8aa5f05d26b7205477066e1449e0af13f762a299safetensors · NF4 (bnb 4bit)20.81 GB暂无关联实测2026-09-26查看版本
Unsloth仓库f0b7c9e722f5565102fff8481c99e4d86ae099c7safetensors · NVFP421.02 GB暂无关联实测2026-09-26查看版本
Unsloth仓库4ca720788d1e01f1bff70c033e0d0028fd02e502GGUF · UD-Q8_K_XL29.3 GB1 条实测2026-09-26查看版本
Unsloth仓库4ca720788d1e01f1bff70c033e0d0028fd02e502GGUF · UD-Q8_K_L26.12 GB暂无关联实测2026-09-26查看版本
Unsloth仓库4ca720788d1e01f1bff70c033e0d0028fd02e502GGUF · UD-Q6_K_XL23.56 GB暂无关联实测2026-09-26查看版本
Unsloth仓库4ca720788d1e01f1bff70c033e0d0028fd02e502GGUF · UD-Q6_K_M21.5 GB暂无关联实测2026-09-26查看版本
Unsloth仓库4ca720788d1e01f1bff70c033e0d0028fd02e502GGUF · UD-Q6_K_L22.53 GB暂无关联实测2026-09-26查看版本
Unsloth仓库4ca720788d1e01f1bff70c033e0d0028fd02e502GGUF · UD-Q6_K20.47 GB暂无关联实测2026-09-26查看版本
Unsloth仓库4ca720788d1e01f1bff70c033e0d0028fd02e502GGUF · UD-Q5_K_XL19.44 GB暂无关联实测2026-09-26查看版本
Unsloth仓库4ca720788d1e01f1bff70c033e0d0028fd02e502GGUF · UD-Q5_K_S17.38 GB暂无关联实测2026-09-26查看版本
Unsloth仓库4ca720788d1e01f1bff70c033e0d0028fd02e502GGUF · UD-Q5_K_M18.41 GB暂无关联实测2026-09-26查看版本
Unsloth仓库4ca720788d1e01f1bff70c033e0d0028fd02e502GGUF · UD-Q4_K_XL16.35 GB暂无关联实测2026-09-26查看版本
Unsloth仓库4ca720788d1e01f1bff70c033e0d0028fd02e502GGUF · UD-Q4_K_S14.3 GB暂无关联实测2026-09-26查看版本
Unsloth仓库4ca720788d1e01f1bff70c033e0d0028fd02e502GGUF · UD-Q4_K_M15.33 GB暂无关联实测2026-09-26查看版本
Unsloth仓库4ca720788d1e01f1bff70c033e0d0028fd02e502GGUF · UD-Q3_K_XL12.24 GB暂无关联实测2026-09-26查看版本
Unsloth仓库4ca720788d1e01f1bff70c033e0d0028fd02e502GGUF · UD-Q2_K_XL9.15 GB暂无关联实测2026-09-26查看版本
Unsloth仓库4ca720788d1e01f1bff70c033e0d0028fd02e502GGUF · UD-IQ4_XS13.27 GB暂无关联实测2026-09-26查看版本
Unsloth仓库4ca720788d1e01f1bff70c033e0d0028fd02e502GGUF · UD-IQ3_XXS10.18 GB暂无关联实测2026-09-26查看版本
Unsloth仓库4ca720788d1e01f1bff70c033e0d0028fd02e502GGUF · UD-IQ3_S11.21 GB暂无关联实测2026-09-26查看版本
Unsloth仓库4ca720788d1e01f1bff70c033e0d0028fd02e502GGUF · UD-IQ2_XXS6.77 GB暂无关联实测2026-09-26查看版本
Unsloth仓库4ca720788d1e01f1bff70c033e0d0028fd02e502GGUF · UD-IQ2_S7.8 GB暂无关联实测2026-09-26查看版本
Unsloth仓库4ca720788d1e01f1bff70c033e0d0028fd02e502GGUF · UD-IQ1_S5.77 GB暂无关联实测2026-09-26查看版本
Unsloth仓库4ca720788d1e01f1bff70c033e0d0028fd02e502GGUF · UD-IQ1_M6.27 GB暂无关联实测2026-09-26查看版本
Unsloth仓库4ca720788d1e01f1bff70c033e0d0028fd02e502GGUF · Q8_027.05 GB暂无关联实测2026-09-26查看版本
Unsloth仓库4ca720788d1e01f1bff70c033e0d0028fd02e502GGUF · Q4_116.34 GB暂无关联实测2026-09-26查看版本
Unsloth仓库4ca720788d1e01f1bff70c033e0d0028fd02e502GGUF · Q4_014.95 GB暂无关联实测2026-09-26查看版本
Unsloth仓库4ca720788d1e01f1bff70c033e0d0028fd02e502GGUF · BF1650.9 GB暂无关联实测2026-09-26查看版本
Qwen (Alibaba)仓库017b9c7af6b5689d5dd426a76e0bc077eb5ca20asafetensors · FP828.3 GB1 条实测2026-09-26查看版本
Qwen (Alibaba)仓库1d4bf0f2ff6012fd82039f2fa52739d0dd7c60c0safetensors · BF1651.75 GB暂无关联实测2026-09-26查看版本

实测数据

共 50 组配置

硬件框架量化生成速度运行显存实测次数证据
NVIDIA RTX Sparkllama.cppQ5_K_M8.8 tok/s54.83 GB2L2 跨框架验证
NVIDIA RTX Sparkllama.cppQ8_06.4 tok/s67.3 GB1L2 跨框架验证
NVIDIA RTX SparkOllamaQ5_K_M7.6 tok/s54.83 GB1L2 跨框架验证
NVIDIA RTX SparkOllamaQ6_K7.5 tok/s58.8 GB1L2 跨框架验证
NVIDIA RTX SparkOllamaQ8_06.1 tok/s67.3 GB1L2 跨框架验证
AMD Radeon RX 7900 XTXvLLMIQ1_S68.6 tok/s22.8 GB1L2 跨框架验证
NVIDIA RTX 5090llama.cppIQ2_M200.6 tok/s30.4 GB1L2 跨框架验证
AMD Ryzen AI Max+ 395vLLMFP169.8 tok/s107 GB1L2 跨框架验证
AMD Ryzen AI Max+ 395vLLMQ8_013.2 tok/s67.3 GB1L2 跨框架验证
AMD Ryzen AI Max+ 395OllamaQ3_K_L19.3 tok/s42.92 GB1L2 跨框架验证
Apple M5 Maxllama.cppQ3_K_L42.7 tok/s42.92 GB1L2 跨框架验证
Apple M5 Maxllama.cppQ6_K30.7 tok/s58.8 GB1L2 跨框架验证
Apple M5 MaxOllamaIQ3_XS46.9 tok/s37.25 GB1L2 跨框架验证
Apple M5 Ultrallama.cppIQ2_XS89.6 tok/s19.46 GB2L2 跨框架验证
Apple M5 UltraOllamaQ2_K74.4 tok/s33.29 GB1L2 跨框架验证
Apple M5 UltraOllamaQ3_K_S60.7 tok/s38.96 GB1L2 跨框架验证
NVIDIA H100 80GB HBM3vLLMQ4_K_M224.1 tok/s48.59 GB1L2 跨框架验证
NVIDIA H100 80GB HBM3vLLMQ5_K_M206.5 tok/s54.83 GB1L2 跨框架验证
NVIDIA H100 80GB HBM3StrataIQ2_M325.9 tok/s31.58 GB1L2 跨框架验证
NVIDIA H20llama.cppIQ2_XS42.1 tok/s29.32 GB1L2 跨框架验证
NVIDIA H20StrataQ2_K52.8 tok/s33.29 GB1L2 跨框架验证
NVIDIA H20StrataQ4_K_M39.1 tok/s48.59 GB1L2 跨框架验证
NVIDIA RTX PRO 6000 Blackwell 96GBllama.cppQ5_K_S112.3 tok/s53.13 GB1L2 跨框架验证
NVIDIA RTX PRO 6000 Blackwell 96GBOllamaIQ1_S182.6 tok/s25.91 GB1L2 跨框架验证
NVIDIA RTX PRO 6000 Blackwell 96GBOllamaQ6_K86.1 tok/s58.8 GB1L2 跨框架验证
Apple M2 Ultrallama.cppIQ2_XS77.6 tok/s29.32 GB1L2 跨框架验证
Apple M2 UltraOllamaIQ2_XS73.6 tok/s29.32 GB1L2 跨框架验证
Apple M2 UltraOllamaIQ3_XS64.5 tok/s37.25 GB1L2 跨框架验证
NVIDIA RTX Sparkllama.cppQ4_K_M10.6 tok/s48.59 GB1L2 跨框架验证
NVIDIA RTX SparkOllamaQ4_K_M9.3 tok/s48.59 GB1L2 跨框架验证
NVIDIA RTX SparkOllamaQ4_K_S9.2 tok/s46.33 GB1L2 跨框架验证
NVIDIA RTX 5090OllamaIQ3_XS161.9 tok/s30.4 GB1L2 跨框架验证
Apple M3 Maxllama.cppIQ3_XS96.3 tok/s34.2 GB1L2 跨框架验证
NVIDIA RTX 5090vLLMQ2_K248.3 tok/s30.4 GB1L2 跨框架验证
NVIDIA RTX 5090OllamaQ2_K231.2 tok/s30.4 GB1L2 跨框架验证
Apple M4 MaxvLLMQ5_K_S122.2 tok/s53.13 GB1L2 跨框架验证
Apple M4 MaxStrataIQ2_M265.4 tok/s31.58 GB1L2 跨框架验证
Apple M4 MaxStrataIQ3_S228.1 tok/s39.52 GB1L2 跨框架验证
NVIDIA RTX PRO 6000 Blackwell 96GBvLLMFP16—58.8 GB1L0 自报
NVIDIA RTX PRO 6000 Blackwell 96GBvLLMQ8_0—29.7 GB1L0 自报
NVIDIA RTX PRO 6000 Blackwell 96GBvLLMQ5_K_M—20.5 GB1L0 自报
NVIDIA RTX PRO 6000 Blackwell 96GBllama.cppFP16—58.8 GB1L0 自报
NVIDIA RTX PRO 6000 Blackwell 96GBllama.cppQ8_0—29.7 GB1L0 自报
NVIDIA RTX PRO 6000 Blackwell 96GBllama.cppQ5_K_M—20.5 GB1L0 自报
NVIDIA RTX PRO 6000 BlackwellvLLMFP1626.1 tok/s58.8 GB1L0 自报
NVIDIA RTX PRO 6000 BlackwellvLLMQ8_052.2 tok/s29.7 GB1L0 自报
NVIDIA RTX PRO 6000 BlackwellvLLMQ5_K_M76.2 tok/s20.5 GB1L0 自报
NVIDIA RTX PRO 6000 Blackwellllama.cppFP1624 tok/s58.8 GB1L0 自报
NVIDIA RTX PRO 6000 Blackwellllama.cppQ8_047.9 tok/s29.7 GB1L0 自报
NVIDIA RTX PRO 6000 Blackwellllama.cppQ5_K_M69.9 tok/s20.5 GB1L0 自报

其中 119 条实测未关联到具体量化版本,完整数据见搜索页。

社区讨论

查看全部讨论