0
量化版本
39
实测记录
量化版本
社区与官方发布的量化版本;「关联实测」只统计精确关联到该发布的实测记录。
还没有已收录的量化版本。
实测数据
共 39 组配置
| 硬件 | 框架 | 量化 | 生成速度 | 运行显存 | 实测次数 | 证据 |
|---|---|---|---|---|---|---|
| AMD Ryzen AI Max+ 395 | llama.cpp | IQ2_XS | 92.6 tok/s | 28.31 GB | 1 | L2 跨框架验证 |
| AMD Ryzen AI Max+ 395 | llama.cpp | IQ3_XS | 81.1 tok/s | 35.95 GB | 1 | L2 跨框架验证 |
| AMD Ryzen AI Max+ 395 | Ollama | IQ3_XS | 79.4 tok/s | 35.95 GB | 1 | L2 跨框架验证 |
| Apple M4 Pro | vLLM | IQ3_XS | 87.6 tok/s | 35.95 GB | 1 | L2 跨框架验证 |
| Apple M4 Pro | vLLM | Q4_K_S | 72.5 tok/s | 44.69 GB | 1 | L2 跨框架验证 |
| Apple M4 Pro | Ollama | Q5_K_M | 56.2 tok/s | 52.88 GB | 1 | L2 跨框架验证 |
| Apple M4 Pro | Ollama | Q5_K_S | 59.3 tok/s | 51.24 GB | 1 | L2 跨框架验证 |
| Apple M5 Pro | llama.cpp | Q8_0 | 55.3 tok/s | 60.8 GB | 1 | L2 跨框架验证 |
| Apple M5 Pro | Strata | Q6_K | 98.9 tok/s | 56.7 GB | 1 | L2 跨框架验证 |
| Apple M5 Max | vLLM | Q3_K_S | 174.4 tok/s | 37.59 GB | 1 | L2 跨框架验证 |
| Apple M5 Max | vLLM | Q4_K_S | 136.4 tok/s | 44.69 GB | 1 | L2 跨框架验证 |
| Apple M5 Max | Strata | Q2_K | 229 tok/s | 32.13 GB | 1 | L2 跨框架验证 |
| Apple M5 Max | Strata | Q8_0 | 122.6 tok/s | 64.89 GB | 1 | L2 跨框架验证 |
| NVIDIA DGX Spark | llama.cpp | IQ3_S | 112.4 tok/s | 38.14 GB | 1 | L2 跨框架验证 |
| NVIDIA DGX Spark | llama.cpp | Q3_K_L | 105.6 tok/s | 41.41 GB | 1 | L2 跨框架验证 |
| NVIDIA DGX Spark | Ollama | Q3_K_L | 104.2 tok/s | 41.41 GB | 1 | L2 跨框架验证 |
| NVIDIA DGX Spark | Ollama | Q3_K_M | 113.1 tok/s | 39.23 GB | 1 | L2 跨框架验证 |
| NVIDIA Jetson AGX Orin 64GB | vLLM | IQ4_XS | 42.8 tok/s | 42.5 GB | 1 | L2 跨框架验证 |
| NVIDIA Jetson AGX Orin 64GB | vLLM | Q5_K_S | 34.1 tok/s | 51.24 GB | 1 | L2 跨框架验证 |
| NVIDIA Jetson AGX Orin 64GB | Ollama | Q8_0 | 24.7 tok/s | 60.8 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX 5070 Ti | vLLM | IQ2_XS | 86.5 tok/s | 9.3 GB | 1 | L0 自报 |
| NVIDIA RTX 5070 Ti | vLLM | Q5_K_M | 39.5 tok/s | 16 GB | 1 | L0 自报 |
| NVIDIA RTX 5070 Ti | vLLM | Q4_K_M | 48.2 tok/s | 16 GB | 1 | L0 自报 |
| NVIDIA RTX 5070 Ti | llama.cpp | IQ2_XS | 79.4 tok/s | 9.3 GB | 1 | L0 自报 |
| NVIDIA RTX 5070 Ti | llama.cpp | Q5_K_M | 36.2 tok/s | 16 GB | 1 | L0 自报 |
| NVIDIA RTX 5070 Ti | llama.cpp | Q4_K_M | 44.2 tok/s | 16 GB | 1 | L0 自报 |
| NVIDIA RTX 5090 | vLLM | IQ2_XS | 173.1 tok/s | 9.3 GB | 1 | L0 自报 |
| NVIDIA RTX 5090 | vLLM | Q5_K_M | 78.9 tok/s | 19.8 GB | 1 | L0 自报 |
| NVIDIA RTX 5090 | vLLM | Q4_K_M | 96.4 tok/s | 16.3 GB | 1 | L0 自报 |
| NVIDIA RTX 5090 | llama.cpp | IQ2_XS | 158.8 tok/s | 9.3 GB | 1 | L0 自报 |
| NVIDIA RTX 5090 | llama.cpp | Q5_K_M | 72.4 tok/s | 19.8 GB | 1 | L0 自报 |
| NVIDIA RTX 5090 | llama.cpp | Q4_K_M | 88.5 tok/s | 16.3 GB | 1 | L0 自报 |
| NVIDIA RTX 4090 | vLLM | IQ2_XS | 97.4 tok/s | 9.3 GB | 1 | L0 自报 |
| NVIDIA RTX 4090 | vLLM | Q5_K_M | 44.4 tok/s | 19.8 GB | 1 | L0 自报 |
| NVIDIA RTX 4090 | vLLM | Q4_K_M | 54.2 tok/s | 16.3 GB | 1 | L0 自报 |
| NVIDIA RTX 4090 | llama.cpp | IQ2_XS | 89.3 tok/s | 9.3 GB | 1 | L0 自报 |
| NVIDIA RTX 4090 | llama.cpp | Q5_K_M | 40.7 tok/s | 19.8 GB | 1 | L0 自报 |
| NVIDIA RTX 4090 | llama.cpp | Q4_K_M | 49.8 tok/s | 16.3 GB | 1 | L0 自报 |
| Apple M2 Ultra | llama.cpp | Q4_K_M | 79.1 tok/s | — | 1 | L1 已复现 |
其中 39 条实测未关联到具体量化版本,完整数据见搜索页。
社区讨论
还没有讨论——发起第一个话题吧。
发起讨论