Qwen3.8 世代的 27B 稠密原生视觉语言模型,Apache-2.0。支持图片与视频理解、可调思考深度(reasoning_effort),面向长程 agent 任务;Q4 量化约需 24GB 显存。
101
量化版本
122
实测记录
2
讨论数
量化版本
社区与官方发布的量化版本;「关联实测」只统计精确关联到该发布的实测记录。
| 发布者 / 仓库 | 固定版本 | 格式 · 量化 | 总大小 | 关联实测 | 更新时间 | 详情 |
|---|---|---|---|---|---|---|
| RadixArk仓库 | 319f741cce68d7914884900c138a1fbb70a42f30 | Safetensors · NVFP4 | 20.42 GB | 1 条实测 | 2026-09-26 | 查看版本 |
| AtomicChat仓库 | ca10ebceb1887be9d33b838770a36b39d75a8a4c | GGUF · Q8_0 | 26.9 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| AtomicChat仓库 | ca10ebceb1887be9d33b838770a36b39d75a8a4c | GGUF · AD-Q6_K | 23.29 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| AtomicChat仓库 | ca10ebceb1887be9d33b838770a36b39d75a8a4c | GGUF · AD-Q6_K-Q5_K | 21.5 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| AtomicChat仓库 | ca10ebceb1887be9d33b838770a36b39d75a8a4c | GGUF · AD-Q5_K_M | 18.84 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| AtomicChat仓库 | ca10ebceb1887be9d33b838770a36b39d75a8a4c | GGUF · AD-Q5_K_M-Q4_K_M | 17.27 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| AtomicChat仓库 | ca10ebceb1887be9d33b838770a36b39d75a8a4c | GGUF · AD-Q4_K_M | 15.94 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| AtomicChat仓库 | ca10ebceb1887be9d33b838770a36b39d75a8a4c | GGUF · AD-IQ4_XS | 15.38 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| AtomicChat仓库 | ca10ebceb1887be9d33b838770a36b39d75a8a4c | GGUF · AD-IQ4_XS-IQ3_S | 13.45 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| AtomicChat仓库 | ca10ebceb1887be9d33b838770a36b39d75a8a4c | GGUF · AD-IQ3_XXS | 11.25 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| AtomicChat仓库 | ca10ebceb1887be9d33b838770a36b39d75a8a4c | GGUF · AD-IQ3_S | 12.89 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| AtomicChat仓库 | ca10ebceb1887be9d33b838770a36b39d75a8a4c | GGUF · AD-IQ3_S-IQ3_XXS | 12.09 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| AtomicChat仓库 | ca10ebceb1887be9d33b838770a36b39d75a8a4c | GGUF · AD-IQ2_XXS | 8.36 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| AtomicChat仓库 | ca10ebceb1887be9d33b838770a36b39d75a8a4c | GGUF · AD-IQ2_XS | 9.21 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| AtomicChat仓库 | ca10ebceb1887be9d33b838770a36b39d75a8a4c | GGUF · AD-IQ2_S | 10.38 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| AtomicChat仓库 | ca10ebceb1887be9d33b838770a36b39d75a8a4c | GGUF · AD-IQ2_S-IQ2_XS | 9.52 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| AtomicChat仓库 | ca10ebceb1887be9d33b838770a36b39d75a8a4c | GGUF · AD-IQ1_M | 7.91 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| byteshape仓库 | 3fdfbd9b4a618303ad36edb151e95d134ece8c18 | GGUF · IQ4_XS | 12.18 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| byteshape仓库 | 3fdfbd9b4a618303ad36edb151e95d134ece8c18 | GGUF · IQ3_XXS | 9.24 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| byteshape仓库 | 3fdfbd9b4a618303ad36edb151e95d134ece8c18 | GGUF · IQ3_XS | 9.64 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| byteshape仓库 | 3fdfbd9b4a618303ad36edb151e95d134ece8c18 | GGUF · IQ3_S | 10.28 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| byteshape仓库 | 3fdfbd9b4a618303ad36edb151e95d134ece8c18 | GGUF · IQ2_XXS | 8.24 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| ISTA-DASLab仓库 | d562806dbafae37109975e970aae91b43e73b440 | GGUF · GSQ-RCO-IQ3_XXS | 9.4 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| ISTA-DASLab仓库 | d562806dbafae37109975e970aae91b43e73b440 | GGUF · GSQ-RCO-IQ3_S | 10.96 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| ISTA-DASLab仓库 | d562806dbafae37109975e970aae91b43e73b440 | GGUF · GSQ-RCO-IQ2_XS | 7.84 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| ISTA-DASLab仓库 | d562806dbafae37109975e970aae91b43e73b440 | GGUF · GSQ-RCO-IQ2_S | 8.62 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| cdiamond仓库 | ac343e8f44caef0896f79d372ecc07ef7ab34ec8 | GGUF · iMatrix-NVFP4 | 15.95 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| AMD仓库 | 0f7ee2559e8dbc25879e1fe1677b2b10708b91a9 | safetensors · AWQ INT4 (W4A16) | 18.17 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| cyankiwi仓库 | 6e134bae811fb5adac50ee042ae5f029ac6779aa | safetensors · AWQ INT4 (W4A16) | 19.57 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| Red Hat AI仓库 | c063053e004e9783631651df95cf55d0bbf88b32 | safetensors · GPTQ INT4 (W4A16) | 17.33 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| Red Hat AI仓库 | d23c6ff198a005532746610e9d719c9f6d27a2b1 | safetensors · NVFP4 | 22.2 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| NVIDIA仓库 | 482ca0f3832238542f8f5295dde86b5f22711d80 | safetensors · NVFP4 | 20.42 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| mlx-community仓库 | 815b83c0df8ffd1d1b5244cf75fd6ef14fca9ef9 | MLX · 8bit | 27.48 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| mlx-community仓库 | 10c35caafbb80f7dc6a7a432cdd11af10a6d4818 | MLX · 4bit | 14.95 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| LM Studio仓库 | 241ebb5f1d60b122fd653da658836a55feb9e2b0 | MLX · 8bit | 27.48 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| LM Studio仓库 | 05f38c1f39e2f39619653616fe8e96a5d676358e | MLX · 6bit | 21.21 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| LM Studio仓库 | b9ad7b92aa2fd07b041f4b8b3aa459941f8abbf7 | MLX · 5bit | 18.08 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| LM Studio仓库 | 6067b15cf581666a4aecf6af3afaba4bb5efc20c | MLX · 4bit | 14.95 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| LM Studio仓库 | 5a7da681f60570ab5b439a587e912d2e5eddb582 | GGUF · Q8_0 | 27.05 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| LM Studio仓库 | 5a7da681f60570ab5b439a587e912d2e5eddb582 | GGUF · Q6_K | 20.89 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| LM Studio仓库 | 5a7da681f60570ab5b439a587e912d2e5eddb582 | GGUF · Q4_K_M | 15.66 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| bartowski仓库 | 0c92138c51f112d2f0dc84d5f6d1ebe4b9912b9a | GGUF · BF16 | 50.9 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| bartowski仓库 | 0c92138c51f112d2f0dc84d5f6d1ebe4b9912b9a | GGUF · Q8_0 | 27.12 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| bartowski仓库 | 0c92138c51f112d2f0dc84d5f6d1ebe4b9912b9a | GGUF · Q6_K_S | 21.29 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| bartowski仓库 | 0c92138c51f112d2f0dc84d5f6d1ebe4b9912b9a | GGUF · Q6_K_L | 23.24 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| bartowski仓库 | 0c92138c51f112d2f0dc84d5f6d1ebe4b9912b9a | GGUF · Q6_K | 22.22 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| bartowski仓库 | 0c92138c51f112d2f0dc84d5f6d1ebe4b9912b9a | GGUF · Q5_K_S | 18.22 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| bartowski仓库 | 0c92138c51f112d2f0dc84d5f6d1ebe4b9912b9a | GGUF · Q5_K_M | 19.49 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| bartowski仓库 | 0c92138c51f112d2f0dc84d5f6d1ebe4b9912b9a | GGUF · Q5_K_L | 20.06 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| bartowski仓库 | 0c92138c51f112d2f0dc84d5f6d1ebe4b9912b9a | GGUF · Q4_K_S | 15.24 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| bartowski仓库 | 0c92138c51f112d2f0dc84d5f6d1ebe4b9912b9a | GGUF · Q4_K_M | 16.24 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| bartowski仓库 | 0c92138c51f112d2f0dc84d5f6d1ebe4b9912b9a | GGUF · Q4_K_L | 17.53 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| bartowski仓库 | 0c92138c51f112d2f0dc84d5f6d1ebe4b9912b9a | GGUF · Q4_1 | 16.6 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| bartowski仓库 | 0c92138c51f112d2f0dc84d5f6d1ebe4b9912b9a | GGUF · Q4_0 | 15.23 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| bartowski仓库 | 0c92138c51f112d2f0dc84d5f6d1ebe4b9912b9a | GGUF · Q3_K_XL | 15.27 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| bartowski仓库 | 0c92138c51f112d2f0dc84d5f6d1ebe4b9912b9a | GGUF · Q3_K_S | 11.86 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| bartowski仓库 | 0c92138c51f112d2f0dc84d5f6d1ebe4b9912b9a | GGUF · Q3_K_M | 12.48 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| bartowski仓库 | 0c92138c51f112d2f0dc84d5f6d1ebe4b9912b9a | GGUF · Q3_K_L | 13.15 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| bartowski仓库 | 0c92138c51f112d2f0dc84d5f6d1ebe4b9912b9a | GGUF · Q2_K_L | 12.18 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| bartowski仓库 | 0c92138c51f112d2f0dc84d5f6d1ebe4b9912b9a | GGUF · Q2_K | 10.08 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| bartowski仓库 | 0c92138c51f112d2f0dc84d5f6d1ebe4b9912b9a | GGUF · IQ4_XS | 14.41 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| bartowski仓库 | 0c92138c51f112d2f0dc84d5f6d1ebe4b9912b9a | GGUF · IQ4_NL | 16.24 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| bartowski仓库 | 0c92138c51f112d2f0dc84d5f6d1ebe4b9912b9a | GGUF · IQ3_XXS | 11.47 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| bartowski仓库 | 0c92138c51f112d2f0dc84d5f6d1ebe4b9912b9a | GGUF · IQ3_XS | 11.92 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| bartowski仓库 | 0c92138c51f112d2f0dc84d5f6d1ebe4b9912b9a | GGUF · IQ3_M | 13.84 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| bartowski仓库 | 0c92138c51f112d2f0dc84d5f6d1ebe4b9912b9a | GGUF · IQ2_XXS | 8.27 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| bartowski仓库 | 0c92138c51f112d2f0dc84d5f6d1ebe4b9912b9a | GGUF · IQ2_XS | 8.46 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| bartowski仓库 | 0c92138c51f112d2f0dc84d5f6d1ebe4b9912b9a | GGUF · IQ2_S | 9.02 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| bartowski仓库 | 0c92138c51f112d2f0dc84d5f6d1ebe4b9912b9a | GGUF · IQ2_M | 9.8 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| ggml-org (llama.cpp)仓库 | efbb3b1f70a21d97fd4495240648405f7228554f | GGUF · Q8_0 | 26.63 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| ggml-org (llama.cpp)仓库 | efbb3b1f70a21d97fd4495240648405f7228554f | GGUF · Q4_K_M | 17.67 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| ggml-org (llama.cpp)仓库 | efbb3b1f70a21d97fd4495240648405f7228554f | GGUF · BF16 | 50.11 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| Unsloth仓库 | 8aa5f05d26b7205477066e1449e0af13f762a299 | safetensors · NF4 (bnb 4bit) | 20.81 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| Unsloth仓库 | f0b7c9e722f5565102fff8481c99e4d86ae099c7 | safetensors · NVFP4 | 21.02 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| Unsloth仓库 | 4ca720788d1e01f1bff70c033e0d0028fd02e502 | GGUF · UD-Q8_K_XL | 29.3 GB | 1 条实测 | 2026-09-26 | 查看版本 |
| Unsloth仓库 | 4ca720788d1e01f1bff70c033e0d0028fd02e502 | GGUF · UD-Q8_K_L | 26.12 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| Unsloth仓库 | 4ca720788d1e01f1bff70c033e0d0028fd02e502 | GGUF · UD-Q6_K_XL | 23.56 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| Unsloth仓库 | 4ca720788d1e01f1bff70c033e0d0028fd02e502 | GGUF · UD-Q6_K_M | 21.5 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| Unsloth仓库 | 4ca720788d1e01f1bff70c033e0d0028fd02e502 | GGUF · UD-Q6_K_L | 22.53 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| Unsloth仓库 | 4ca720788d1e01f1bff70c033e0d0028fd02e502 | GGUF · UD-Q6_K | 20.47 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| Unsloth仓库 | 4ca720788d1e01f1bff70c033e0d0028fd02e502 | GGUF · UD-Q5_K_XL | 19.44 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| Unsloth仓库 | 4ca720788d1e01f1bff70c033e0d0028fd02e502 | GGUF · UD-Q5_K_S | 17.38 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| Unsloth仓库 | 4ca720788d1e01f1bff70c033e0d0028fd02e502 | GGUF · UD-Q5_K_M | 18.41 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| Unsloth仓库 | 4ca720788d1e01f1bff70c033e0d0028fd02e502 | GGUF · UD-Q4_K_XL | 16.35 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| Unsloth仓库 | 4ca720788d1e01f1bff70c033e0d0028fd02e502 | GGUF · UD-Q4_K_S | 14.3 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| Unsloth仓库 | 4ca720788d1e01f1bff70c033e0d0028fd02e502 | GGUF · UD-Q4_K_M | 15.33 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| Unsloth仓库 | 4ca720788d1e01f1bff70c033e0d0028fd02e502 | GGUF · UD-Q3_K_XL | 12.24 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| Unsloth仓库 | 4ca720788d1e01f1bff70c033e0d0028fd02e502 | GGUF · UD-Q2_K_XL | 9.15 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| Unsloth仓库 | 4ca720788d1e01f1bff70c033e0d0028fd02e502 | GGUF · UD-IQ4_XS | 13.27 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| Unsloth仓库 | 4ca720788d1e01f1bff70c033e0d0028fd02e502 | GGUF · UD-IQ3_XXS | 10.18 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| Unsloth仓库 | 4ca720788d1e01f1bff70c033e0d0028fd02e502 | GGUF · UD-IQ3_S | 11.21 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| Unsloth仓库 | 4ca720788d1e01f1bff70c033e0d0028fd02e502 | GGUF · UD-IQ2_XXS | 6.77 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| Unsloth仓库 | 4ca720788d1e01f1bff70c033e0d0028fd02e502 | GGUF · UD-IQ2_S | 7.8 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| Unsloth仓库 | 4ca720788d1e01f1bff70c033e0d0028fd02e502 | GGUF · UD-IQ1_S | 5.77 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| Unsloth仓库 | 4ca720788d1e01f1bff70c033e0d0028fd02e502 | GGUF · UD-IQ1_M | 6.27 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| Unsloth仓库 | 4ca720788d1e01f1bff70c033e0d0028fd02e502 | GGUF · Q8_0 | 27.05 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| Unsloth仓库 | 4ca720788d1e01f1bff70c033e0d0028fd02e502 | GGUF · Q4_1 | 16.34 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| Unsloth仓库 | 4ca720788d1e01f1bff70c033e0d0028fd02e502 | GGUF · Q4_0 | 14.95 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| Unsloth仓库 | 4ca720788d1e01f1bff70c033e0d0028fd02e502 | GGUF · BF16 | 50.9 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
| Qwen (Alibaba)仓库 | 017b9c7af6b5689d5dd426a76e0bc077eb5ca20a | safetensors · FP8 | 28.3 GB | 1 条实测 | 2026-09-26 | 查看版本 |
| Qwen (Alibaba)仓库 | 1d4bf0f2ff6012fd82039f2fa52739d0dd7c60c0 | safetensors · BF16 | 51.75 GB | 暂无关联实测 | 2026-09-26 | 查看版本 |
实测数据
共 50 组配置
| 硬件 | 框架 | 量化 | 生成速度 | 运行显存 | 实测次数 | 证据 |
|---|---|---|---|---|---|---|
| NVIDIA RTX Spark | llama.cpp | Q5_K_M | 8.8 tok/s | 54.83 GB | 2 | L2 跨框架验证 |
| NVIDIA RTX Spark | llama.cpp | Q8_0 | 6.4 tok/s | 67.3 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX Spark | Ollama | Q5_K_M | 7.6 tok/s | 54.83 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX Spark | Ollama | Q6_K | 7.5 tok/s | 58.8 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX Spark | Ollama | Q8_0 | 6.1 tok/s | 67.3 GB | 1 | L2 跨框架验证 |
| AMD Radeon RX 7900 XTX | vLLM | IQ1_S | 68.6 tok/s | 22.8 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX 5090 | llama.cpp | IQ2_M | 200.6 tok/s | 30.4 GB | 1 | L2 跨框架验证 |
| AMD Ryzen AI Max+ 395 | vLLM | FP16 | 9.8 tok/s | 107 GB | 1 | L2 跨框架验证 |
| AMD Ryzen AI Max+ 395 | vLLM | Q8_0 | 13.2 tok/s | 67.3 GB | 1 | L2 跨框架验证 |
| AMD Ryzen AI Max+ 395 | Ollama | Q3_K_L | 19.3 tok/s | 42.92 GB | 1 | L2 跨框架验证 |
| Apple M5 Max | llama.cpp | Q3_K_L | 42.7 tok/s | 42.92 GB | 1 | L2 跨框架验证 |
| Apple M5 Max | llama.cpp | Q6_K | 30.7 tok/s | 58.8 GB | 1 | L2 跨框架验证 |
| Apple M5 Max | Ollama | IQ3_XS | 46.9 tok/s | 37.25 GB | 1 | L2 跨框架验证 |
| Apple M5 Ultra | llama.cpp | IQ2_XS | 89.6 tok/s | 19.46 GB | 2 | L2 跨框架验证 |
| Apple M5 Ultra | Ollama | Q2_K | 74.4 tok/s | 33.29 GB | 1 | L2 跨框架验证 |
| Apple M5 Ultra | Ollama | Q3_K_S | 60.7 tok/s | 38.96 GB | 1 | L2 跨框架验证 |
| NVIDIA H100 80GB HBM3 | vLLM | Q4_K_M | 224.1 tok/s | 48.59 GB | 1 | L2 跨框架验证 |
| NVIDIA H100 80GB HBM3 | vLLM | Q5_K_M | 206.5 tok/s | 54.83 GB | 1 | L2 跨框架验证 |
| NVIDIA H100 80GB HBM3 | Strata | IQ2_M | 325.9 tok/s | 31.58 GB | 1 | L2 跨框架验证 |
| NVIDIA H20 | llama.cpp | IQ2_XS | 42.1 tok/s | 29.32 GB | 1 | L2 跨框架验证 |
| NVIDIA H20 | Strata | Q2_K | 52.8 tok/s | 33.29 GB | 1 | L2 跨框架验证 |
| NVIDIA H20 | Strata | Q4_K_M | 39.1 tok/s | 48.59 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX PRO 6000 Blackwell 96GB | llama.cpp | Q5_K_S | 112.3 tok/s | 53.13 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX PRO 6000 Blackwell 96GB | Ollama | IQ1_S | 182.6 tok/s | 25.91 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX PRO 6000 Blackwell 96GB | Ollama | Q6_K | 86.1 tok/s | 58.8 GB | 1 | L2 跨框架验证 |
| Apple M2 Ultra | llama.cpp | IQ2_XS | 77.6 tok/s | 29.32 GB | 1 | L2 跨框架验证 |
| Apple M2 Ultra | Ollama | IQ2_XS | 73.6 tok/s | 29.32 GB | 1 | L2 跨框架验证 |
| Apple M2 Ultra | Ollama | IQ3_XS | 64.5 tok/s | 37.25 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX Spark | llama.cpp | Q4_K_M | 10.6 tok/s | 48.59 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX Spark | Ollama | Q4_K_M | 9.3 tok/s | 48.59 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX Spark | Ollama | Q4_K_S | 9.2 tok/s | 46.33 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX 5090 | Ollama | IQ3_XS | 161.9 tok/s | 30.4 GB | 1 | L2 跨框架验证 |
| Apple M3 Max | llama.cpp | IQ3_XS | 96.3 tok/s | 34.2 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX 5090 | vLLM | Q2_K | 248.3 tok/s | 30.4 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX 5090 | Ollama | Q2_K | 231.2 tok/s | 30.4 GB | 1 | L2 跨框架验证 |
| Apple M4 Max | vLLM | Q5_K_S | 122.2 tok/s | 53.13 GB | 1 | L2 跨框架验证 |
| Apple M4 Max | Strata | IQ2_M | 265.4 tok/s | 31.58 GB | 1 | L2 跨框架验证 |
| Apple M4 Max | Strata | IQ3_S | 228.1 tok/s | 39.52 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX PRO 6000 Blackwell 96GB | vLLM | FP16 | — | 58.8 GB | 1 | L0 自报 |
| NVIDIA RTX PRO 6000 Blackwell 96GB | vLLM | Q8_0 | — | 29.7 GB | 1 | L0 自报 |
| NVIDIA RTX PRO 6000 Blackwell 96GB | vLLM | Q5_K_M | — | 20.5 GB | 1 | L0 自报 |
| NVIDIA RTX PRO 6000 Blackwell 96GB | llama.cpp | FP16 | — | 58.8 GB | 1 | L0 自报 |
| NVIDIA RTX PRO 6000 Blackwell 96GB | llama.cpp | Q8_0 | — | 29.7 GB | 1 | L0 自报 |
| NVIDIA RTX PRO 6000 Blackwell 96GB | llama.cpp | Q5_K_M | — | 20.5 GB | 1 | L0 自报 |
| NVIDIA RTX PRO 6000 Blackwell | vLLM | FP16 | 26.1 tok/s | 58.8 GB | 1 | L0 自报 |
| NVIDIA RTX PRO 6000 Blackwell | vLLM | Q8_0 | 52.2 tok/s | 29.7 GB | 1 | L0 自报 |
| NVIDIA RTX PRO 6000 Blackwell | vLLM | Q5_K_M | 76.2 tok/s | 20.5 GB | 1 | L0 自报 |
| NVIDIA RTX PRO 6000 Blackwell | llama.cpp | FP16 | 24 tok/s | 58.8 GB | 1 | L0 自报 |
| NVIDIA RTX PRO 6000 Blackwell | llama.cpp | Q8_0 | 47.9 tok/s | 29.7 GB | 1 | L0 自报 |
| NVIDIA RTX PRO 6000 Blackwell | llama.cpp | Q5_K_M | 69.9 tok/s | 20.5 GB | 1 | L0 自报 |
其中 119 条实测未关联到具体量化版本,完整数据见搜索页。