0
量化版本
106
实测记录
量化版本
社区与官方发布的量化版本;「关联实测」只统计精确关联到该发布的实测记录。
还没有已收录的量化版本。
实测数据
共 50 组配置
| 硬件 | 框架 | 量化 | 生成速度 | 运行显存 | 实测次数 | 证据 |
|---|---|---|---|---|---|---|
| NVIDIA RTX 5090 | llama.cpp | IQ4_XS | 375.4 tok/s | 6.76 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX 5090 | llama.cpp | Q6_K | 277.8 tok/s | 8.4 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX 5090 | Strata | FP16 | 238.8 tok/s | 13.76 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX 5090 | Strata | IQ3_S | 359.6 tok/s | 6.26 GB | 1 | L2 跨框架验证 |
| AMD Ryzen AI Max+ 395 | vLLM | IQ3_S | 201.2 tok/s | 6.26 GB | 1 | L2 跨框架验证 |
| AMD Ryzen AI Max+ 395 | vLLM | Q2_K | 204.5 tok/s | 5.57 GB | 1 | L2 跨框架验证 |
| AMD Ryzen AI Max+ 395 | Strata | Q4_K_M | 218.6 tok/s | 7.27 GB | 1 | L2 跨框架验证 |
| AMD Ryzen AI Max+ 395 | Strata | Q8_0 | 147.9 tok/s | 9.35 GB | 1 | L2 跨框架验证 |
| Apple M5 Max | llama.cpp | IQ3_S | 341.3 tok/s | 6.26 GB | 2 | L2 跨框架验证 |
| Apple M5 Max | llama.cpp | Q6_K | 221.2 tok/s | 8.4 GB | 1 | L2 跨框架验证 |
| Apple M5 Max | Strata | Q8_0 | 241.3 tok/s | 9.35 GB | 1 | L2 跨框架验证 |
| NVIDIA DGX Spark | vLLM | Q3_K_M | 258.6 tok/s | 6.38 GB | 1 | L2 跨框架验证 |
| NVIDIA DGX Spark | vLLM | Q5_K_M | 183.8 tok/s | 7.96 GB | 1 | L2 跨框架验证 |
| NVIDIA DGX Spark | Ollama | IQ2_M | 292.7 tok/s | 5.38 GB | 1 | L2 跨框架验证 |
| NVIDIA Jetson AGX Orin 64GB | vLLM | IQ1_S | 135.2 tok/s | 4.75 GB | 1 | L2 跨框架验证 |
| NVIDIA Jetson AGX Orin 64GB | vLLM | Q2_K | 119 tok/s | 5.57 GB | 1 | L2 跨框架验证 |
| NVIDIA Jetson AGX Orin 64GB | Strata | Q3_K_S | 147.6 tok/s | 6.2 GB | 1 | L2 跨框架验证 |
| AMD Strix Halo (Radeon 8060S) | llama.cpp | IQ4_XS | 127.7 tok/s | 6.76 GB | 1 | L2 跨框架验证 |
| AMD Strix Halo (Radeon 8060S) | Ollama | Q4_K_S | 115.7 tok/s | 7.01 GB | 1 | L2 跨框架验证 |
| AMD Strix Halo (Radeon 8060S) | Ollama | Q5_K_M | 87.9 tok/s | 7.96 GB | 1 | L2 跨框架验证 |
| 2x AMD Strix Halo | llama.cpp | IQ2_XS | 273.1 tok/s | 5.12 GB | 1 | L2 跨框架验证 |
| 2x AMD Strix Halo | llama.cpp | IQ3_S | 239.1 tok/s | 6.26 GB | 1 | L2 跨框架验证 |
| 2x AMD Strix Halo | vLLM | Q5_K_M | 183.5 tok/s | 7.96 GB | 1 | L2 跨框架验证 |
| 2x AMD Strix Halo | vLLM | Q6_K | 171.2 tok/s | 8.4 GB | 1 | L2 跨框架验证 |
| AMD Strix Point (Radeon 890M) | Ollama | IQ2_M | 98.8 tok/s | 5.38 GB | 1 | L2 跨框架验证 |
| AMD Strix Point (Radeon 890M) | Ollama | Q6_K | 60.3 tok/s | 8.4 GB | 1 | L2 跨框架验证 |
| AMD Strix Point (Radeon 890M) | Strata | IQ3_S | 128.2 tok/s | 6.26 GB | 1 | L2 跨框架验证 |
| Intel Arc A770 16GB | llama.cpp | IQ2_XS | 113.1 tok/s | 5.12 GB | 2 | L2 跨框架验证 |
| Intel Arc A770 16GB | vLLM | IQ2_M | 105.2 tok/s | 5.38 GB | 1 | L2 跨框架验证 |
| Intel Arc A770 16GB | vLLM | IQ4_XS | 86.8 tok/s | 6.76 GB | 1 | L2 跨框架验证 |
| Intel Arc 140V | Ollama | Q3_K_M | 80.3 tok/s | 6.38 GB | 1 | L2 跨框架验证 |
| Intel Arc 140V | Ollama | Q6_K | 49.4 tok/s | 8.4 GB | 1 | L2 跨框架验证 |
| Intel Arc 140V | Strata | Q5_K_S | 92.4 tok/s | 7.77 GB | 1 | L2 跨框架验证 |
| Apple M1 | Ollama | IQ3_XS | 74.2 tok/s | 6.01 GB | 1 | L2 跨框架验证 |
| Apple M1 | Ollama | Q6_K | 48.4 tok/s | 8.4 GB | 1 | L2 跨框架验证 |
| Apple M1 | Strata | Q3_K_M | 114.6 tok/s | 6.38 GB | 1 | L2 跨框架验证 |
| Apple M1 Pro | vLLM | Q5_K_M | 93.6 tok/s | 7.96 GB | 1 | L2 跨框架验证 |
| Apple M1 Pro | vLLM | Q5_K_S | 89 tok/s | 7.77 GB | 1 | L2 跨框架验证 |
| Apple M1 Pro | Ollama | IQ1_S | 134.1 tok/s | 4.75 GB | 1 | L2 跨框架验证 |
| Apple M1 Pro | Ollama | Q2_K | 116.7 tok/s | 5.57 GB | 1 | L2 跨框架验证 |
| Apple M1 Max | llama.cpp | FP16 | 57.8 tok/s | 13.76 GB | 1 | L2 跨框架验证 |
| Apple M1 Max | llama.cpp | Q3_K_M | 128.8 tok/s | 6.38 GB | 1 | L2 跨框架验证 |
| Apple M1 Max | Ollama | Q4_K_S | 116.7 tok/s | 7.01 GB | 1 | L2 跨框架验证 |
| Apple M2 Pro | vLLM | IQ1_S | 161.8 tok/s | 4.75 GB | 1 | L2 跨框架验证 |
| Apple M2 Pro | Ollama | IQ2_XS | 130.3 tok/s | 5.12 GB | 1 | L2 跨框架验证 |
| Apple M2 Pro | Ollama | Q3_K_L | 100.8 tok/s | 6.64 GB | 1 | L2 跨框架验证 |
| Apple M2 Ultra | llama.cpp | IQ2_XS | 215.2 tok/s | 5.12 GB | 1 | L2 跨框架验证 |
| Apple M2 Ultra | llama.cpp | Q3_K_M | 171.1 tok/s | 6.38 GB | 1 | L2 跨框架验证 |
| Apple M2 Ultra | vLLM | Q4_K_M | 157.8 tok/s | 7.27 GB | 1 | L2 跨框架验证 |
| Qualcomm Snapdragon X Elite | vLLM | IQ2_XS | 103.6 tok/s | 5.12 GB | 1 | L2 跨框架验证 |
其中 106 条实测未关联到具体量化版本,完整数据见搜索页。
社区讨论
还没有讨论——发起第一个话题吧。
发起讨论