Arao AI

搜索实测数据

试试这些搜索

找到 56 个运行配置组合

计数为运行配置组合（模型 + 硬件 + 框架 + 量化的聚合），同一组合的多次实测已合并；原始次数见各结果的来源行。

模型Kimi-K3

Kimi-K3 · IQ4_XS

L2 跨框架验证

NVIDIA RTX 4090 · 24GB · llama.cpp

其他

今天

123.9 tok/s

Decode

634.46 tok/s

Prefill

0.58 s

TTFT

1.05 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 13.0 IQ4_XS llama.cpp v0.44 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Kimi-K3 · Q3_K_L

L2 跨框架验证

NVIDIA RTX 4090 · 24GB · Ollama

其他

今天

113.94 tok/s

Decode

395.79 tok/s

Prefill

0.2 s

TTFT

1.05 GB

VRAM

配置（最近一次实测）
Windows 11 23H2 CUDA 13.0 Q3_K_L Ollama v0.44 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Kimi-K3 · Q8_0

L2 跨框架验证

NVIDIA RTX 4090 · 24GB · Ollama

其他

今天

70.56 tok/s

Decode

253.27 tok/s

Prefill

0.65 s

TTFT

1.05 GB

VRAM

配置（最近一次实测）
Windows 11 23H2 CUDA 12.6 Q8_0 Ollama v0.54 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Kimi-K3 · Q4_K_M

L2 跨框架验证

NVIDIA RTX 3090 · 24GB · llama.cpp

其他

今天

61.22 tok/s

Decode

289.69 tok/s

Prefill

1.04 s

TTFT

1.05 GB

VRAM

配置（最近一次实测）
Windows 11 23H2 CUDA 12.4 Q4_K_M llama.cpp v0.28 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Kimi-K3 · Q5_K_M

L2 跨框架验证

NVIDIA RTX 3090 · 24GB · Ollama

其他

今天

54.04 tok/s

Decode

184.49 tok/s

Prefill

0.99 s

TTFT

1.05 GB

VRAM

配置（最近一次实测）
Windows 11 24H2 CUDA 12.6 Q5_K_M Ollama v0.49 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Kimi-K3 · Q5_K_S

L2 跨框架验证

NVIDIA RTX 4060 Ti 16GB · 16GB · vLLM

其他

今天

82.77 tok/s

Decode

438.83 tok/s

Prefill

2.43 s

TTFT

1.05 GB

VRAM

配置（最近一次实测）
Windows 11 24H2 CUDA 12.6 Q5_K_S vLLM v0.50

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Kimi-K3 · IQ3_XS

L2 跨框架验证

NVIDIA RTX 4060 Ti 16GB · 16GB · Ollama

其他

今天

90.69 tok/s

Decode

447.55 tok/s

Prefill

1.06 s

TTFT

1.05 GB

VRAM

配置（最近一次实测）
Windows 11 23H2 CUDA 12.6 IQ3_XS Ollama v0.50 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Kimi-K3 · IQ4_XS

L2 跨框架验证

NVIDIA RTX 4060 Ti 16GB · 16GB · Ollama

其他

今天

88.03 tok/s

Decode

388.48 tok/s

Prefill

0.2 s

TTFT

1.05 GB

VRAM

配置（最近一次实测）
Windows 11 23H2 CUDA 13.0 IQ4_XS Ollama v0.51 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Kimi-K3 · IQ1_S

L2 跨框架验证

AMD Radeon RX 7900 XTX · 24GB · llama.cpp

其他

今天

109.82 tok/s

Decode

547.49 tok/s

Prefill

2.4 s

TTFT

1.05 GB

VRAM

配置（最近一次实测）
Windows 11 23H2 CUDA 12.6 IQ1_S llama.cpp v0.27 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Kimi-K3 · Q3_K_L

L2 跨框架验证

AMD Radeon RX 7900 XTX · 24GB · llama.cpp

其他

今天

75 tok/s

Decode

318.12 tok/s

Prefill

1.01 s

TTFT

1.05 GB

VRAM

配置（最近一次实测）
Ubuntu 22.04 CUDA 12.4 Q3_K_L llama.cpp v0.35 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Kimi-K3 · Q5_K_S

L2 跨框架验证

AMD Radeon RX 7900 XTX · 24GB · Ollama

其他

今天

56.93 tok/s

Decode

285.15 tok/s

Prefill

2.04 s

TTFT

1.05 GB

VRAM

配置（最近一次实测）
Windows 11 23H2 CUDA 12.6 Q5_K_S Ollama v0.27 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Kimi-K3 · Q3_K_L

L2 跨框架验证

NVIDIA RTX 5090 · 32GB · vLLM

其他

今天

253.52 tok/s

Decode

1,057.1 tok/s

Prefill

0.13 s

TTFT

1.05 GB

VRAM

配置（最近一次实测）
Windows 11 24H2 CUDA 13.0 Q3_K_L vLLM v0.28 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Kimi-K3 · Q4_K_S

L2 跨框架验证

NVIDIA RTX 5090 · 32GB · vLLM

其他

今天

223.8 tok/s

Decode

1,049.81 tok/s

Prefill

2.15 s

TTFT

1.05 GB

VRAM

配置（最近一次实测）
Windows 11 24H2 CUDA 13.0 Q4_K_S vLLM v0.22 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Kimi-K3 · IQ3_S

L2 跨框架验证

NVIDIA RTX 5090 · 32GB · Strata

其他

今天

330.44 tok/s

Decode

1,792.04 tok/s

Prefill

2.4 s

TTFT

1.05 GB

VRAM

配置（最近一次实测）
Ubuntu 22.04 CUDA 12.6 IQ3_S Strata v0.39 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Kimi-K3 · Q5_K_S

L2 跨框架验证

NVIDIA RTX 5080 · 16GB · Ollama

其他

今天

124.24 tok/s

Decode

658.04 tok/s

Prefill

1.45 s

TTFT

1.05 GB

VRAM

配置（最近一次实测）
Ubuntu 22.04 CUDA 12.8 Q5_K_S Ollama v0.32 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Kimi-K3 · Q8_0

L2 跨框架验证

NVIDIA RTX 5080 · 16GB · Ollama

其他

今天

85.12 tok/s

Decode

372.82 tok/s

Prefill

0.69 s

TTFT

1.05 GB

VRAM

配置（最近一次实测）
Windows 11 24H2 CUDA 12.4 Q8_0 Ollama v0.23 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Kimi-K3 · Q8_0

L2 跨框架验证

NVIDIA RTX 5080 · 16GB · Strata

其他

今天

128.67 tok/s

Decode

423.79 tok/s

Prefill

1.28 s

TTFT

1.05 GB

VRAM

配置（最近一次实测）
Ubuntu 22.04 CUDA 12.4 Q8_0 Strata v0.38 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Kimi-K3 · Q3_K_L

L2 跨框架验证

NVIDIA RTX 3060 12GB · 12GB · llama.cpp

其他

今天

55.93 tok/s

Decode

219.18 tok/s

Prefill

2.35 s

TTFT

1.05 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 12.8 Q3_K_L llama.cpp v0.41 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Kimi-K3 · Q3_K_M

L2 跨框架验证

NVIDIA RTX 3060 12GB · 12GB · llama.cpp

其他

今天

58.85 tok/s

Decode

193.51 tok/s

Prefill

1.17 s

TTFT

1.05 GB

VRAM

配置（最近一次实测）
Windows 11 23H2 CUDA 12.8 Q3_K_M llama.cpp v0.36 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Kimi-K3 · IQ4_XS

L2 跨框架验证

NVIDIA RTX 3060 12GB · 12GB · vLLM

其他

今天

53.14 tok/s

Decode

228.98 tok/s

Prefill

2.17 s

TTFT

1.05 GB

VRAM

配置（最近一次实测）
Windows 11 24H2 CUDA 12.4 IQ4_XS vLLM v0.21

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

共 56 条结果

相关模型
相关硬件
相关框架
相关量化