0
量化版本
139
实测记录
量化版本
社区与官方发布的量化版本;「关联实测」只统计精确关联到该发布的实测记录。
还没有已收录的量化版本。
实测数据
共 50 组配置
| 硬件 | 框架 | 量化 | 生成速度 | 运行显存 | 实测次数 | 证据 |
|---|---|---|---|---|---|---|
| NVIDIA RTX 4090 | llama.cpp | Q3_K_L | 114.7 tok/s | 20.24 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX 4090 | Ollama | Q4_K_M | 87.4 tok/s | 22.76 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX 4090 | Ollama | Q6_K | 70.2 tok/s | 22.8 GB | 2 | L2 跨框架验证 |
| NVIDIA RTX 3090 | llama.cpp | Q4_K_M | 79.3 tok/s | 15.28 GB | 2 | L2 跨框架验证 |
| NVIDIA RTX 3090 | Ollama | Q3_K_L | 64.1 tok/s | 20.24 GB | 1 | L2 跨框架验证 |
| AMD Radeon RX 7900 XTX | vLLM | Q3_K_M | 77.9 tok/s | 19.24 GB | 1 | L2 跨框架验证 |
| AMD Radeon RX 7900 XTX | Ollama | IQ1_S | 92 tok/s | 12.68 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX 5090 | llama.cpp | IQ2_XS | 262.1 tok/s | 14.2 GB | 2 | L2 跨框架验证 |
| NVIDIA RTX 5090 | llama.cpp | Q8_0 | 125.5 tok/s | 21.95 GB | 2 | L2 跨框架验证 |
| NVIDIA RTX 5090 | Ollama | Q3_K_S | 236.1 tok/s | 18.48 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX 5090 | Ollama | Q5_K_S | 165.1 tok/s | 24.78 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX 3060 12GB | Strata | IQ1_S | 99.1 tok/s | 11.4 GB | 1 | L2 跨框架验证 |
| AMD Ryzen AI Max+ 395 | llama.cpp | IQ2_M | 32.6 tok/s | 15.2 GB | 1 | L2 跨框架验证 |
| AMD Ryzen AI Max+ 395 | llama.cpp | Q5_K_M | 22.7 tok/s | 25.54 GB | 1 | L2 跨框架验证 |
| AMD Ryzen AI Max+ 395 | Ollama | Q3_K_M | 26.8 tok/s | 19.24 GB | 1 | L2 跨框架验证 |
| AMD Ryzen AI Max+ 395 | Ollama | Q5_K_S | 20.2 tok/s | 24.78 GB | 1 | L2 跨框架验证 |
| Apple M5 Max | llama.cpp | IQ3_S | 67.5 tok/s | 18.73 GB | 1 | L2 跨框架验证 |
| Apple M5 Max | Ollama | IQ2_M | 66.8 tok/s | 15.2 GB | 1 | L2 跨框架验证 |
| Apple M5 Max | Ollama | Q5_K_M | 43.4 tok/s | 25.54 GB | 1 | L2 跨框架验证 |
| Apple M5 Ultra | llama.cpp | IQ3_XS | 105.5 tok/s | 17.72 GB | 1 | L2 跨框架验证 |
| Apple M5 Ultra | Ollama | Q3_K_L | 86.9 tok/s | 20.24 GB | 1 | L2 跨框架验证 |
| Apple M5 Ultra | Ollama | Q5_K_S | 66.6 tok/s | 24.78 GB | 1 | L2 跨框架验证 |
| NVIDIA H100 80GB HBM3 | llama.cpp | Q5_K_M | 303.3 tok/s | 25.54 GB | 1 | L2 跨框架验证 |
| NVIDIA H100 80GB HBM3 | llama.cpp | Q5_K_S | 283.1 tok/s | 24.78 GB | 1 | L2 跨框架验证 |
| NVIDIA H100 80GB HBM3 | vLLM | IQ3_XS | 302.8 tok/s | 17.72 GB | 1 | L2 跨框架验证 |
| NVIDIA H100 80GB HBM3 | vLLM | IQ4_XS | 358.4 tok/s | 20.75 GB | 1 | L2 跨框架验证 |
| NVIDIA H20 | llama.cpp | IQ2_XS | 63.1 tok/s | 14.2 GB | 1 | L2 跨框架验证 |
| NVIDIA H20 | vLLM | Q3_K_L | 49.1 tok/s | 20.24 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX PRO 6000 Blackwell 96GB | Ollama | IQ3_XS | 204.7 tok/s | 17.72 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX PRO 6000 Blackwell 96GB | Ollama | Q4_K_M | 162.2 tok/s | 22.76 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX PRO 6000 Blackwell 96GB | Strata | Q4_K_S | 255.5 tok/s | 21.76 GB | 1 | L2 跨框架验证 |
| Apple M2 Ultra | llama.cpp | IQ4_XS | 90.7 tok/s | 20.75 GB | 1 | L2 跨框架验证 |
| Apple M2 Ultra | llama.cpp | Q5_K_S | 66.9 tok/s | 24.78 GB | 1 | L2 跨框架验证 |
| Apple M2 Ultra | Ollama | Q2_K | 96.5 tok/s | 15.96 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX Spark | llama.cpp | Q3_K_L | 43.9 tok/s | 20.24 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX Spark | llama.cpp | Q4_K_M | 39.6 tok/s | 22.76 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX Spark | Ollama | FP16 | 18.6 tok/s | 48.72 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX Spark | Ollama | Q4_K_M | 36.6 tok/s | 22.76 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX 4090 | llama.cpp | IQ2_XS | 152.3 tok/s | 14.2 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX 4090 | Strata | Q5_K_S | 117.5 tok/s | 22.8 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX 3090 | vLLM | Q6_K | 50.6 tok/s | 22.8 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX 3090 | Ollama | IQ3_XS | 67.3 tok/s | 17.72 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX 4060 Ti 16GB | vLLM | Q3_K_S | 104.2 tok/s | 15.2 GB | 1 | L2 跨框架验证 |
| AMD Radeon RX 7900 XTX | llama.cpp | IQ2_XS | 97.1 tok/s | 14.2 GB | 1 | L2 跨框架验证 |
| AMD Radeon RX 7900 XTX | llama.cpp | Q5_K_M | 54.1 tok/s | 22.8 GB | 1 | L2 跨框架验证 |
| AMD Radeon RX 7900 XTX | Strata | IQ2_M | 125.3 tok/s | 15.2 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX 5090 | vLLM | IQ3_S | 261.3 tok/s | 18.73 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX 5090 | vLLM | Q5_K_S | 173.7 tok/s | 24.78 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX 5090 | Strata | Q3_K_M | 340.9 tok/s | 19.24 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX 5080 | llama.cpp | IQ2_M | 201 tok/s | 15.2 GB | 1 | L2 跨框架验证 |
其中 139 条实测未关联到具体量化版本,完整数据见搜索页。
社区讨论
还没有讨论——发起第一个话题吧。
发起讨论