0
量化版本
5
实测记录
量化版本
社区与官方发布的量化版本;「关联实测」只统计精确关联到该发布的实测记录。
还没有已收录的量化版本。
实测数据
共 5 组配置
| 硬件 | 框架 | 量化 | 生成速度 | 运行显存 | 实测次数 | 证据 |
|---|---|---|---|---|---|---|
| Apple M3 Max | llama.cpp | IQ2_XS | 89.4 tok/s | 34.2 GB | 1 | L2 跨框架验证 |
| Apple M3 Max | vLLM | IQ1_S | 102.6 tok/s | 32.97 GB | 1 | L2 跨框架验证 |
| Apple M4 Max | llama.cpp | IQ3_XS | 121.6 tok/s | 47.67 GB | 1 | L2 跨框架验证 |
| Apple M4 Max | llama.cpp | Q4_K_S | 111 tok/s | 59.43 GB | 1 | L2 跨框架验证 |
| Apple M4 Max | Ollama | Q3_K_L | 102.3 tok/s | 55.02 GB | 1 | L2 跨框架验证 |
其中 5 条实测未关联到具体量化版本,完整数据见搜索页。
社区讨论
还没有讨论——发起第一个话题吧。
发起讨论