0
量化版本
210
实测记录
量化版本
社区与官方发布的量化版本;「关联实测」只统计精确关联到该发布的实测记录。
还没有已收录的量化版本。
实测数据
共 50 组配置
| 硬件 | 框架 | 量化 | 生成速度 | 运行显存 | 实测次数 | 证据 |
|---|---|---|---|---|---|---|
| NVIDIA RTX 4090 | llama.cpp | Q4_K_M | 142.7 tok/s | 10.64 GB | 2 | L2 跨框架验证 |
| NVIDIA RTX 4090 | vLLM | IQ3_S | 161.1 tok/s | 13.19 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX 3090 | vLLM | IQ2_XS | 113.4 tok/s | 10.16 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX 3090 | Ollama | Q2_K | 98.9 tok/s | 11.34 GB | 1 | L2 跨框架验证 |
| AMD Radeon RX 7900 XTX | llama.cpp | Q5_K_S | 73.4 tok/s | 17.22 GB | 1 | L2 跨框架验证 |
| AMD Radeon RX 7900 XTX | vLLM | IQ2_M | 127.9 tok/s | 10.84 GB | 2 | L2 跨框架验证 |
| AMD Radeon RX 7900 XTX | vLLM | Q2_K | 108.2 tok/s | 11.34 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX 5090 | Ollama | IQ3_S | 275.4 tok/s | 13.19 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX 5090 | Strata | IQ4_XS | 340.7 tok/s | 14.53 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX 5080 | llama.cpp | Q3_K_S | 206.6 tok/s | 13.02 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX 5080 | vLLM | IQ2_M | 240.9 tok/s | 10.84 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX 3060 12GB | vLLM | Q3_K_S | 73.3 tok/s | 11.4 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX 3060 12GB | Ollama | IQ3_S | 58.4 tok/s | 11.4 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX 4080 Super | llama.cpp | Q3_K_S | 168.4 tok/s | 13.02 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX 4080 Super | vLLM | IQ2_M | 214.4 tok/s | 10.84 GB | 2 | L2 跨框架验证 |
| AMD Ryzen AI Max+ 395 | vLLM | Q3_K_S | 38.8 tok/s | 13.02 GB | 1 | L2 跨框架验证 |
| AMD Ryzen AI Max+ 395 | Ollama | FP16 | 14.1 tok/s | 33.18 GB | 1 | L2 跨框架验证 |
| AMD Ryzen AI Max+ 395 | Ollama | Q3_K_M | 34.2 tok/s | 13.52 GB | 1 | L2 跨框架验证 |
| Apple M5 Max | llama.cpp | IQ1_S | 95.3 tok/s | 9.16 GB | 1 | L2 跨框架验证 |
| Apple M5 Max | Ollama | IQ2_M | 82.4 tok/s | 10.84 GB | 1 | L2 跨框架验证 |
| Apple M5 Max | Ollama | Q6_K | 50.4 tok/s | 18.9 GB | 1 | L2 跨框架验证 |
| Apple M5 Ultra | llama.cpp | Q4_K_M | 102.1 tok/s | 15.88 GB | 1 | L2 跨框架验证 |
| Apple M5 Ultra | llama.cpp | Q6_K | 73.3 tok/s | 18.9 GB | 1 | L2 跨框架验证 |
| Apple M5 Ultra | Ollama | IQ3_XS | 108 tok/s | 12.52 GB | 1 | L2 跨框架验证 |
| Apple M5 Ultra | Ollama | Q4_K_S | 102.8 tok/s | 15.2 GB | 1 | L2 跨框架验证 |
| NVIDIA H100 80GB HBM3 | vLLM | IQ1_S | 335.5 tok/s | 9.16 GB | 1 | L2 跨框架验证 |
| NVIDIA H100 80GB HBM3 | Ollama | Q6_K | 301.7 tok/s | 18.9 GB | 1 | L2 跨框架验证 |
| NVIDIA H20 | llama.cpp | IQ3_S | 57.4 tok/s | 13.19 GB | 1 | L2 跨框架验证 |
| NVIDIA H20 | llama.cpp | Q5_K_S | 42.5 tok/s | 17.22 GB | 1 | L2 跨框架验证 |
| NVIDIA H20 | Strata | IQ3_S | 87.3 tok/s | 13.19 GB | 1 | L2 跨框架验证 |
| NVIDIA H20 | Strata | Q5_K_S | 59.7 tok/s | 17.22 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX PRO 6000 Blackwell 96GB | llama.cpp | Q2_K | 305.2 tok/s | 11.34 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX PRO 6000 Blackwell 96GB | Strata | IQ3_S | 374.2 tok/s | 13.19 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX PRO 6000 Blackwell 96GB | Strata | Q3_K_L | 317.2 tok/s | 14.2 GB | 1 | L2 跨框架验证 |
| Apple M2 Ultra | llama.cpp | Q3_K_S | 119.1 tok/s | 13.02 GB | 1 | L2 跨框架验证 |
| Apple M2 Ultra | Ollama | Q2_K | 112.3 tok/s | 11.34 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX Spark | llama.cpp | Q4_K_M | 51 tok/s | 15.88 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX Spark | llama.cpp | Q5_K_M | 46.5 tok/s | 17.72 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX Spark | Ollama | Q3_K_L | 51.9 tok/s | 14.2 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX Spark | Ollama | Q4_K_M | 50.4 tok/s | 15.88 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX 4090 | llama.cpp | IQ1_S | 187.9 tok/s | 9.16 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX 4090 | llama.cpp | Q8_0 | 87.2 tok/s | 17.31 GB | 3 | L2 跨框架验证 |
| NVIDIA RTX 4090 | vLLM | Q2_K | 164.9 tok/s | 11.34 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX 3090 | vLLM | IQ3_XS | 108.6 tok/s | 12.52 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX 3090 | Ollama | IQ4_XS | 96.7 tok/s | 14.53 GB | 2 | L2 跨框架验证 |
| NVIDIA RTX 3090 | Ollama | Q8_0 | 48 tok/s | 21.42 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX 4060 Ti 16GB | llama.cpp | IQ3_XS | 120.5 tok/s | 12.52 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX 4060 Ti 16GB | llama.cpp | Q2_K | 129.6 tok/s | 11.34 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX 4060 Ti 16GB | vLLM | Q3_K_L | 108.1 tok/s | 14.2 GB | 1 | L2 跨框架验证 |
| AMD Radeon RX 7900 XTX | Ollama | IQ3_XS | 90.6 tok/s | 12.52 GB | 1 | L2 跨框架验证 |
其中 210 条实测未关联到具体量化版本,完整数据见搜索页。
社区讨论
还没有讨论——发起第一个话题吧。
发起讨论