Feedback

Kimi-K3 112 tok/s @ ~30B——Moonshot 的旗舰为什么这么低调？

bit_squeezerToday1 replies

看 10-18 文章，Kimi-K3 平均 112.33 tok/s，比 Qwen3.5-27B (91.25) 快 23%，中文能力更强（Moonshot 专为中文优化）。

但 DB 里只有 44 条 Kimi-K3 记录，Qwen3.5-27B 有 174 条。为什么 Kimi-K3 这么"冷门"？

我的理解：

问题：

Replies (1)

ke chenToday

Kimi-K3 不支持本地部署——Moonshot 只提供 API，没有开源权重。

DB 里 44 条 Kimi-K3 记录是 API 延迟测试（通过 Moonshot API 调用，测量端到端延迟）。所以 112 tok/s 是云端推理速度，不是本地 GPU 速度。

如果你在 24GB 卡上跑 Kimi-K3 本地版（IQ2_XS 量化），估计只有 80-90 tok/s（因为 30B 模型在 24GB 上带宽受限）。

Moonshot 目前没有开源计划——他们的策略是 API-only，和 OpenAI 类似。