0
量化版本
62
实测记录
量化版本
社区与官方发布的量化版本;「关联实测」只统计精确关联到该发布的实测记录。
还没有已收录的量化版本。
实测数据
共 50 组配置
| 硬件 | 框架 | 量化 | 生成速度 | 运行显存 | 实测次数 | 证据 |
|---|---|---|---|---|---|---|
| NVIDIA RTX 5090 | Ollama | IQ2_M | 299.2 tok/s | 1.05 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX 5090 | Ollama | Q3_K_M | 238.2 tok/s | 1.05 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX 5090 | Strata | IQ1_S | 320.2 tok/s | 1.05 GB | 1 | L2 跨框架验证 |
| AMD Ryzen AI Max+ 395 | llama.cpp | Q4_K_S | 90.7 tok/s | 1.05 GB | 1 | L2 跨框架验证 |
| AMD Ryzen AI Max+ 395 | Ollama | IQ2_M | 108.9 tok/s | 1.05 GB | 1 | L2 跨框架验证 |
| AMD Ryzen AI Max+ 395 | Ollama | Q3_K_S | 98.6 tok/s | 1.05 GB | 1 | L2 跨框架验证 |
| Apple M5 Max | llama.cpp | Q5_K_S | 144.1 tok/s | 1.05 GB | 1 | L2 跨框架验证 |
| Apple M5 Max | Strata | Q2_K | 312.3 tok/s | 1.05 GB | 1 | L2 跨框架验证 |
| NVIDIA DGX Spark | Ollama | Q3_K_L | 131.5 tok/s | 1.05 GB | 1 | L2 跨框架验证 |
| NVIDIA DGX Spark | Ollama | Q4_K_S | 128.8 tok/s | 1.05 GB | 1 | L2 跨框架验证 |
| NVIDIA DGX Spark | Strata | IQ2_M | 261.6 tok/s | 1.05 GB | 1 | L2 跨框架验证 |
| NVIDIA DGX Spark | Strata | IQ2_XS | 259.5 tok/s | 1.05 GB | 1 | L2 跨框架验证 |
| NVIDIA Jetson AGX Orin 64GB | llama.cpp | Q4_K_S | 56.6 tok/s | 1.05 GB | 1 | L2 跨框架验证 |
| NVIDIA Jetson AGX Orin 64GB | Ollama | Q3_K_M | 54.9 tok/s | 1.05 GB | 1 | L2 跨框架验证 |
| AMD Strix Halo (Radeon 8060S) | llama.cpp | Q8_0 | 46.3 tok/s | 1.05 GB | 1 | L2 跨框架验证 |
| AMD Strix Halo (Radeon 8060S) | Ollama | Q2_K | 85.3 tok/s | 1.05 GB | 1 | L2 跨框架验证 |
| 2x AMD Strix Halo | vLLM | Q3_K_S | 149.2 tok/s | 1.05 GB | 1 | L2 跨框架验证 |
| 2x AMD Strix Halo | vLLM | Q8_0 | 87.7 tok/s | 1.05 GB | 1 | L2 跨框架验证 |
| 2x AMD Strix Halo | Strata | Q3_K_M | 208.4 tok/s | 1.05 GB | 1 | L2 跨框架验证 |
| AMD Strix Point (Radeon 890M) | vLLM | IQ1_S | 79.9 tok/s | 1.05 GB | 1 | L2 跨框架验证 |
| AMD Strix Point (Radeon 890M) | vLLM | Q8_0 | 38.5 tok/s | 1.05 GB | 1 | L2 跨框架验证 |
| AMD Strix Point (Radeon 890M) | Ollama | Q5_K_M | 41.6 tok/s | 1.05 GB | 1 | L2 跨框架验证 |
| Intel Arc A770 16GB | vLLM | IQ3_S | 59.2 tok/s | 1.05 GB | 1 | L2 跨框架验证 |
| Intel Arc A770 16GB | vLLM | Q4_K_S | 49 tok/s | 1.05 GB | 1 | L2 跨框架验证 |
| Intel Arc A770 16GB | Ollama | IQ2_XS | 65.5 tok/s | 1.05 GB | 1 | L2 跨框架验证 |
| Intel Arc A770 16GB | Ollama | IQ3_XS | 57 tok/s | 1.05 GB | 1 | L2 跨框架验证 |
| Intel Arc 140V | vLLM | IQ4_XS | 47.9 tok/s | 1.05 GB | 1 | L2 跨框架验证 |
| Intel Arc 140V | Ollama | IQ4_XS | 45.3 tok/s | 1.05 GB | 1 | L2 跨框架验证 |
| Intel Arc 140V | Ollama | Q4_K_S | 43.9 tok/s | 1.05 GB | 1 | L2 跨框架验证 |
| Apple M1 | vLLM | IQ4_XS | 47.9 tok/s | 1.05 GB | 1 | L2 跨框架验证 |
| Apple M1 | Ollama | FP16 | 21.4 tok/s | 1.05 GB | 1 | L2 跨框架验证 |
| Apple M1 | Ollama | Q3_K_L | 41.5 tok/s | 1.05 GB | 1 | L2 跨框架验证 |
| Apple M1 Pro | vLLM | Q6_K | 50.3 tok/s | 1.05 GB | 1 | L2 跨框架验证 |
| Apple M1 Pro | Ollama | Q3_K_S | 67.5 tok/s | 1.05 GB | 1 | L2 跨框架验证 |
| Apple M1 Max | Ollama | IQ4_XS | 76.5 tok/s | 1.05 GB | 1 | L2 跨框架验证 |
| Apple M1 Max | Strata | IQ2_M | 143.3 tok/s | 1.05 GB | 1 | L2 跨框架验证 |
| Apple M2 Pro | llama.cpp | Q5_K_M | 54.5 tok/s | 1.05 GB | 1 | L2 跨框架验证 |
| Apple M2 Pro | vLLM | Q3_K_S | 89.6 tok/s | 1.05 GB | 1 | L2 跨框架验证 |
| Apple M2 Ultra | llama.cpp | Q4_K_S | 104.6 tok/s | 1.05 GB | 1 | L2 跨框架验证 |
| Apple M2 Ultra | vLLM | IQ1_S | 161.8 tok/s | 1.05 GB | 1 | L2 跨框架验证 |
| Apple M2 Ultra | vLLM | Q5_K_S | 96.1 tok/s | 1.05 GB | 1 | L2 跨框架验证 |
| Qualcomm Snapdragon X Elite | llama.cpp | Q3_K_L | 49 tok/s | 1.05 GB | 1 | L2 跨框架验证 |
| Qualcomm Snapdragon X Elite | Ollama | IQ2_M | 54.2 tok/s | 1.05 GB | 1 | L2 跨框架验证 |
| Qualcomm Snapdragon 7 Gen 4 | llama.cpp | IQ1_S | 53.9 tok/s | 1.05 GB | 1 | L2 跨框架验证 |
| Qualcomm Snapdragon 7 Gen 4 | Ollama | IQ3_S | 37.5 tok/s | 1.05 GB | 1 | L2 跨框架验证 |
| Qualcomm Snapdragon 7 Gen 4 | Ollama | Q4_K_M | 32.7 tok/s | 1.05 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX 3090 | vLLM | Q5_K_M | — | — | 1 | L0 自报 |
| NVIDIA RTX 3090 | vLLM | Q4_K_M | — | — | 1 | L0 自报 |
| NVIDIA RTX 3090 | llama.cpp | Q5_K_M | — | — | 1 | L0 自报 |
| NVIDIA RTX 3090 | llama.cpp | Q4_K_M | — | — | 1 | L0 自报 |
其中 62 条实测未关联到具体量化版本,完整数据见搜索页。
社区讨论
还没有讨论——发起第一个话题吧。
发起讨论