Arao AI

搜索实测数据

试试这些搜索

找到 82 个运行配置组合

计数为运行配置组合（模型 + 硬件 + 框架 + 量化的聚合），同一组合的多次实测已合并；原始次数见各结果的来源行。

模型DeepSeek-R1-Distill-Qwen-14B

DeepSeek-R1-Distill-Qwen-14B · Q3_K_M

L2 跨框架验证

NVIDIA RTX 4090 · 24GB · llama.cpp

其他

17 天前

122.06 tok/s

Decode

409.59 tok/s

Prefill

2.2 s

TTFT

22.09 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 12.8 Q3_K_M llama.cpp v0.47

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

DeepSeek-R1-Distill-Qwen-14B · IQ4_XS

L2 跨框架验证

NVIDIA RTX 3090 · 24GB · llama.cpp

其他

17 天前

79.26 tok/s

Decode

346.57 tok/s

Prefill

2.5 s

TTFT

22.8 GB

VRAM

配置（最近一次实测）
Windows 11 24H2 CUDA 12.6 IQ4_XS llama.cpp v0.42

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

DeepSeek-R1-Distill-Qwen-14B · Q3_K_M

L2 跨框架验证

NVIDIA RTX 3090 · 24GB · llama.cpp

其他

17 天前

75.68 tok/s

Decode

415.45 tok/s

Prefill

1.01 s

TTFT

22.09 GB

VRAM

配置（最近一次实测）
Windows 11 24H2 CUDA 12.8 Q3_K_M llama.cpp v0.43 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

DeepSeek-R1-Distill-Qwen-14B · Q3_K_M

L2 跨框架验证

NVIDIA RTX 3090 · 24GB · vLLM

其他

17 天前

80.11 tok/s

Decode

318.86 tok/s

Prefill

0.68 s

TTFT

22.09 GB

VRAM

配置（最近一次实测）
Windows 11 23H2 CUDA 12.4 Q3_K_M vLLM v0.31 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

DeepSeek-R1-Distill-Qwen-14B · Q4_K_M

L2 跨框架验证

AMD Radeon RX 7900 XTX · 24GB · llama.cpp

其他

17 天前

65.83 tok/s

Decode

346.39 tok/s

Prefill

2.3 s

TTFT

22.8 GB

VRAM

配置（最近一次实测）
Ubuntu 22.04 CUDA 12.8 Q4_K_M llama.cpp v0.45 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

DeepSeek-R1-Distill-Qwen-14B · IQ2_XS

L2 跨框架验证

AMD Radeon RX 7900 XTX · 24GB · Ollama

其他

17 天前

90.76 tok/s

Decode

372.69 tok/s

Prefill

1.03 s

TTFT

16.21 GB

VRAM

配置（最近一次实测）
Windows 11 23H2 CUDA 12.8 IQ2_XS Ollama v0.54 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

DeepSeek-R1-Distill-Qwen-14B · Q8_0

L2 跨框架验证

NVIDIA RTX 5090 · 32GB · vLLM

其他

17 天前

145.18 tok/s

Decode

478.54 tok/s

Prefill

1.69 s

TTFT

30.4 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 12.6 Q8_0 vLLM v0.36 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

DeepSeek-R1-Distill-Qwen-14B · IQ2_XS

L2 跨框架验证

NVIDIA RTX 5080 · 16GB · vLLM

其他

17 天前

227.28 tok/s

Decode

1,043.49 tok/s

Prefill

0.18 s

TTFT

15.2 GB

VRAM

配置（最近一次实测）
Windows 11 23H2 CUDA 12.4 IQ2_XS vLLM v0.31

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

DeepSeek-R1-Distill-Qwen-14B · IQ1_S

L2 跨框架验证

NVIDIA RTX 4080 Super · 16GB · llama.cpp

其他

17 天前

208.08 tok/s

Decode

731.51 tok/s

Prefill

1.09 s

TTFT

14.45 GB

VRAM

配置（最近一次实测）
Windows 11 23H2 CUDA 12.4 IQ1_S llama.cpp v0.31 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

DeepSeek-R1-Distill-Qwen-14B · Q3_K_S

L2 跨框架验证

AMD Ryzen AI Max+ 395 · 128GB · vLLM

其他

17 天前

34.77 tok/s

Decode

161.9 tok/s

Prefill

0.75 s

TTFT

21.21 GB

VRAM

配置（最近一次实测）
Ubuntu 22.04 CUDA 12.6 Q3_K_S vLLM v0.44 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

DeepSeek-R1-Distill-Qwen-14B · Q4_K_S

L2 跨框架验证

AMD Ryzen AI Max+ 395 · 128GB · vLLM

其他

17 天前

29.55 tok/s

Decode

96.92 tok/s

Prefill

2.13 s

TTFT

25.03 GB

VRAM

配置（最近一次实测）
Windows 11 23H2 CUDA 12.6 Q4_K_S vLLM v0.26 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

DeepSeek-R1-Distill-Qwen-14B · Q4_K_S

L2 跨框架验证

AMD Ryzen AI Max+ 395 · 128GB · Ollama

其他

17 天前

28.23 tok/s

Decode

99.22 tok/s

Prefill

1.42 s

TTFT

25.03 GB

VRAM

配置（最近一次实测）
Windows 11 23H2 CUDA 12.8 Q4_K_S Ollama v0.49 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

DeepSeek-R1-Distill-Qwen-14B · Q3_K_M

L2 跨框架验证

Apple M5 Max · 128GB · llama.cpp

其他

17 天前

66.61 tok/s

Decode

292.99 tok/s

Prefill

1.37 s

TTFT

22.09 GB

VRAM

配置（最近一次实测）
macOS 26.1 Q3_K_M llama.cpp v0.22 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

DeepSeek-R1-Distill-Qwen-14B · IQ4_XS

L2 跨框架验证

Apple M5 Max · 128GB · Ollama

其他

17 天前

63.06 tok/s

Decode

323.43 tok/s

Prefill

0.81 s

TTFT

23.86 GB

VRAM

配置（最近一次实测）
macOS 26.1 IQ4_XS Ollama v0.39 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

DeepSeek-R1-Distill-Qwen-14B · Q8_0

L2 跨框架验证

Apple M5 Max · 128GB · Ollama

其他

17 天前

36.84 tok/s

Decode

127.42 tok/s

Prefill

0.3 s

TTFT

35.91 GB

VRAM

配置（最近一次实测）
macOS 26.1 Q8_0 Ollama v0.20

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

DeepSeek-R1-Distill-Qwen-14B · Q5_K_M

L2 跨框架验证

Apple M5 Ultra · 512GB · llama.cpp

其他

17 天前

77.61 tok/s

Decode

409.9 tok/s

Prefill

2 s

TTFT

29.44 GB

VRAM

配置（最近一次实测）
macOS 26.1 Q5_K_M llama.cpp v0.30 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

DeepSeek-R1-Distill-Qwen-14B · Q2_K

L2 跨框架验证

Apple M5 Ultra · 512GB · Ollama

其他

17 天前

118.32 tok/s

Decode

453.53 tok/s

Prefill

0.83 s

TTFT

18.27 GB

VRAM

配置（最近一次实测）
macOS 26.1 Q2_K Ollama v0.24 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

DeepSeek-R1-Distill-Qwen-14B · Q5_K_M

L2 跨框架验证

Apple M5 Ultra · 512GB · Ollama

其他

17 天前

65.66 tok/s

Decode

313.69 tok/s

Prefill

0.3 s

TTFT

29.44 GB

VRAM

配置（最近一次实测）
macOS 26.1 Q5_K_M Ollama v0.24 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

DeepSeek-R1-Distill-Qwen-14B · IQ4_XS

L2 跨框架验证

NVIDIA H100 80GB HBM3 · 80GB · vLLM

其他

17 天前

398.24 tok/s

Decode

1,414.76 tok/s

Prefill

2.13 s

TTFT

23.86 GB

VRAM

配置（最近一次实测）
Ubuntu 22.04 CUDA 12.8 IQ4_XS vLLM v0.25

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

DeepSeek-R1-Distill-Qwen-14B · Q5_K_S

L2 跨框架验证

NVIDIA H100 80GB HBM3 · 80GB · vLLM

其他

17 天前

364.79 tok/s

Decode

1,787.53 tok/s

Prefill

2.34 s

TTFT

28.56 GB

VRAM

配置（最近一次实测）
Ubuntu 22.04 CUDA 13.0 Q5_K_S vLLM v0.53 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

共 82 条结果

相关模型
相关硬件
相关框架
相关量化