0
量化版本
205
实测记录
7
讨论数
量化版本
社区与官方发布的量化版本;「关联实测」只统计精确关联到该发布的实测记录。
还没有已收录的量化版本。
实测数据
共 50 组配置
| 硬件 | 框架 | 量化 | 生成速度 | 运行显存 | 实测次数 | 证据 |
|---|---|---|---|---|---|---|
| NVIDIA RTX Spark | llama.cpp | Q6_K | 8 tok/s | 58.8 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX Spark | llama.cpp | Q8_0 | 6.8 tok/s | 67.3 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX Spark | Ollama | FP16 | 4.9 tok/s | 107 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX Spark | Ollama | Q6_K | 7 tok/s | 58.8 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX Spark | Ollama | Q8_0 | 6.9 tok/s | 67.3 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX 3090 | Ollama | IQ1_S | 89.8 tok/s | 22.8 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX 5090 | Ollama | IQ3_XS | 206.4 tok/s | 30.4 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX 5090 | Strata | Q2_K | 376.5 tok/s | 30.4 GB | 2 | L2 跨框架验证 |
| AMD Ryzen AI Max+ 395 | vLLM | Q8_0 | 18.2 tok/s | 67.3 GB | 1 | L2 跨框架验证 |
| AMD Ryzen AI Max+ 395 | Ollama | IQ3_S | 27.3 tok/s | 39.52 GB | 1 | L2 跨框架验证 |
| AMD Ryzen AI Max+ 395 | Ollama | Q6_K | 16.1 tok/s | 58.8 GB | 1 | L2 跨框架验证 |
| Apple M5 Max | llama.cpp | Q2_K | 65.6 tok/s | 33.29 GB | 1 | L2 跨框架验证 |
| Apple M5 Max | Ollama | IQ2_M | 64.3 tok/s | 31.58 GB | 1 | L2 跨框架验证 |
| Apple M5 Max | Ollama | IQ3_XS | 62.2 tok/s | 37.25 GB | 1 | L2 跨框架验证 |
| Apple M5 Ultra | llama.cpp | IQ1_S | 131.5 tok/s | 25.91 GB | 1 | L2 跨框架验证 |
| Apple M5 Ultra | Ollama | Q3_K_S | 84 tok/s | 38.96 GB | 1 | L2 跨框架验证 |
| NVIDIA H20 | vLLM | IQ2_XS | 63.2 tok/s | 29.32 GB | 1 | L2 跨框架验证 |
| NVIDIA H20 | vLLM | Q8_0 | 27.6 tok/s | 67.3 GB | 1 | L2 跨框架验证 |
| NVIDIA H20 | Strata | IQ3_S | 67.5 tok/s | 39.52 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX PRO 6000 Blackwell 96GB | llama.cpp | Q4_K_M | 181.7 tok/s | 48.59 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX PRO 6000 Blackwell 96GB | llama.cpp | Q6_K | 133.1 tok/s | 58.8 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX PRO 6000 Blackwell 96GB | Ollama | FP16 | 79.6 tok/s | 91.2 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX PRO 6000 Blackwell 96GB | Ollama | Q3_K_L | 177.2 tok/s | 42.92 GB | 1 | L2 跨框架验证 |
| Apple M2 Ultra | llama.cpp | Q3_K_L | 82.5 tok/s | 42.92 GB | 1 | L2 跨框架验证 |
| Apple M2 Ultra | Ollama | IQ2_M | 105 tok/s | 31.58 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX Spark | llama.cpp | Q4_K_M | 10.2 tok/s | 48.59 GB | 2 | L2 跨框架验证 |
| NVIDIA RTX Spark | Ollama | Q4_K_M | 9.8 tok/s | 48.59 GB | 2 | L2 跨框架验证 |
| AMD Radeon RX 7900 XTX | Strata | IQ1_S | 136.7 tok/s | 22.8 GB | 1 | L2 跨框架验证 |
| AMD Ryzen AI Max+ 395 | Ollama | IQ1_S | 109.5 tok/s | 25.91 GB | 1 | L2 跨框架验证 |
| AMD Ryzen AI Max+ 395 | Ollama | Q3_K_S | 82.9 tok/s | 38.96 GB | 1 | L2 跨框架验证 |
| AMD Ryzen AI Max+ 395 | Strata | Q3_K_L | 119.8 tok/s | 42.92 GB | 1 | L2 跨框架验证 |
| AMD Ryzen AI Max+ 395 | Strata | Q4_K_M | 114.2 tok/s | 48.59 GB | 1 | L2 跨框架验证 |
| Apple M5 Max | llama.cpp | IQ3_XS | 171.7 tok/s | 37.25 GB | 1 | L2 跨框架验证 |
| Apple M5 Max | llama.cpp | Q4_K_S | 147 tok/s | 46.33 GB | 1 | L2 跨框架验证 |
| Apple M5 Max | Ollama | Q5_K_M | 119.4 tok/s | 54.83 GB | 1 | L2 跨框架验证 |
| Apple M5 Max | Ollama | Q6_K | 100.2 tok/s | 58.8 GB | 1 | L2 跨框架验证 |
| NVIDIA DGX Spark | Ollama | IQ3_S | 120 tok/s | 39.52 GB | 1 | L2 跨框架验证 |
| NVIDIA DGX Spark | Strata | Q4_K_S | 169.7 tok/s | 46.33 GB | 1 | L2 跨框架验证 |
| NVIDIA Jetson AGX Orin 64GB | vLLM | Q5_K_S | 40.6 tok/s | 53.13 GB | 1 | L2 跨框架验证 |
| NVIDIA Jetson AGX Orin 64GB | Ollama | IQ3_XS | 49.6 tok/s | 37.25 GB | 1 | L2 跨框架验证 |
| AMD Strix Halo (Radeon 8060S) | Ollama | IQ3_S | 74.7 tok/s | 39.52 GB | 1 | L2 跨框架验证 |
| AMD Strix Halo (Radeon 8060S) | Strata | IQ3_XS | 105.8 tok/s | 37.25 GB | 1 | L2 跨框架验证 |
| AMD Strix Halo (Radeon 8060S) | Strata | Q5_K_M | 71 tok/s | 54.83 GB | 1 | L2 跨框架验证 |
| 2x AMD Strix Halo | Ollama | IQ2_M | 146.4 tok/s | 31.58 GB | 1 | L2 跨框架验证 |
| 2x AMD Strix Halo | Strata | IQ2_XS | 213.8 tok/s | 29.32 GB | 1 | L2 跨框架验证 |
| Apple M1 Pro | Ollama | IQ2_M | 70.6 tok/s | 30.4 GB | 1 | L2 跨框架验证 |
| Apple M1 Max | vLLM | Q6_K | 47.8 tok/s | 58.8 GB | 1 | L2 跨框架验证 |
| Apple M2 Ultra | Ollama | Q8_0 | 49.8 tok/s | 67.3 GB | 1 | L2 跨框架验证 |
| Apple M2 Ultra | Strata | Q4_K_M | 113.8 tok/s | 48.59 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX 4090 | vLLM | IQ1_S | 153.3 tok/s | 22.8 GB | 1 | L2 跨框架验证 |
其中 205 条实测未关联到具体量化版本,完整数据见搜索页。
社区讨论
查看全部讨论RTX 4080 Super 升级到 5080 值吗?17% 提升 + ¥2000 差价matrix_w · 24 天前 · 2 条回复苹果 M1 16GB 跑 90 tok/s——5 年前的笔记本还能再战几年?ke chen · 27 天前 · 2 条回复Jetson AGX Orin 跑 27B IQ1_S = 42 tok/s,39W——这是工业部署还是科研玩具?matrix_w · 27 天前 · 2 条回复M2 Ultra 192GB 真的能跑 70B 模型吗?大家实测 3-5 tok/s 是什么体验ke chen · 27 天前 · 3 条回复Framework Desktop (Ryzen AI Max+ 395 128GB) 出差一周实测:机场跑 LLM 不卡bit_squeezer · 27 天前 · 2 条回复