Arao AI

搜索实测数据

试试这些搜索

找到 59 个运行配置组合

计数为运行配置组合（模型 + 硬件 + 框架 + 量化的聚合），同一组合的多次实测已合并；原始次数见各结果的来源行。

模型Llama-3.2-3B-Instruct

Llama-3.2-3B-Instruct · IQ3_S

L2 跨框架验证

NVIDIA RTX 4090 · 24GB · vLLM

其他

今天

362.35 tok/s

Decode

1,574.76 tok/s

Prefill

0.64 s

TTFT

6.26 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 12.6 IQ3_S vLLM v0.47 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Llama-3.2-3B-Instruct · IQ1_S

L2 跨框架验证

NVIDIA RTX 4090 · 24GB · Strata

其他

今天

284.1 tok/s

Decode

1,178.93 tok/s

Prefill

0.55 s

TTFT

4.75 GB

VRAM

配置（最近一次实测）
Ubuntu 22.04 CUDA 12.6 IQ1_S Strata v0.28 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Llama-3.2-3B-Instruct · IQ2_XS

L2 跨框架验证

NVIDIA RTX 4090 · 24GB · Strata

其他

今天

281.21 tok/s

Decode

1,389.98 tok/s

Prefill

0.16 s

TTFT

5.12 GB

VRAM

配置（最近一次实测）
Windows 11 23H2 CUDA 13.0 IQ2_XS Strata v0.21 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Llama-3.2-3B-Instruct · Q2_K

L2 跨框架验证

NVIDIA RTX 3090 · 24GB · llama.cpp

其他

今天

268 tok/s

Decode

1,209.31 tok/s

Prefill

2.46 s

TTFT

5.57 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 12.8 Q2_K llama.cpp v0.49 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Llama-3.2-3B-Instruct · FP16

L2 跨框架验证

NVIDIA RTX 3090 · 24GB · Strata

其他

今天

145.3 tok/s

Decode

693.51 tok/s

Prefill

0.85 s

TTFT

13.76 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 13.0 FP16 Strata v0.50 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Llama-3.2-3B-Instruct · IQ3_S

L2 跨框架验证

NVIDIA RTX 4060 Ti 16GB · 16GB · llama.cpp

其他

今天

326.89 tok/s

Decode

1,104.91 tok/s

Prefill

0.63 s

TTFT

6.26 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 12.8 IQ3_S llama.cpp v0.36 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Llama-3.2-3B-Instruct · Q2_K

L2 跨框架验证

NVIDIA RTX 4060 Ti 16GB · 16GB · vLLM

其他

今天

350.23 tok/s

Decode

1,317.38 tok/s

Prefill

0.97 s

TTFT

5.57 GB

VRAM

配置（最近一次实测）
Ubuntu 22.04 CUDA 12.6 Q2_K vLLM v0.31 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Llama-3.2-3B-Instruct · IQ3_S

L2 跨框架验证

AMD Radeon RX 7900 XTX · 24GB · vLLM

其他

今天

253.22 tok/s

Decode

1,074.86 tok/s

Prefill

1.24 s

TTFT

6.26 GB

VRAM

配置（最近一次实测）
Ubuntu 22.04 CUDA 12.4 IQ3_S vLLM v0.43 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Llama-3.2-3B-Instruct · IQ3_S

L2 跨框架验证

AMD Radeon RX 7900 XTX · 24GB · Strata

其他

今天

389.24 tok/s

Decode

2,015.9 tok/s

Prefill

1.4 s

TTFT

6.26 GB

VRAM

配置（最近一次实测）
Windows 11 23H2 CUDA 12.6 IQ3_S Strata v0.26

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Llama-3.2-3B-Instruct · Q4_K_S

L2 跨框架验证

AMD Radeon RX 7900 XTX · 24GB · Strata

其他

今天

341.32 tok/s

Decode

1,578.68 tok/s

Prefill

0.54 s

TTFT

7.01 GB

VRAM

配置（最近一次实测）
Windows 11 23H2 CUDA 12.4 Q4_K_S Strata v0.29 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Llama-3.2-3B-Instruct · Q2_K

L2 跨框架验证

NVIDIA RTX 5090 · 32GB · llama.cpp

其他

今天

325.57 tok/s

Decode

1,657.68 tok/s

Prefill

0.19 s

TTFT

5.57 GB

VRAM

配置（最近一次实测）
Windows 11 24H2 CUDA 13.0 Q2_K llama.cpp v0.31 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Llama-3.2-3B-Instruct · Q4_K_S

L2 跨框架验证

NVIDIA RTX 5090 · 32GB · llama.cpp

其他

今天

376.12 tok/s

Decode

1,436.24 tok/s

Prefill

2.42 s

TTFT

7.01 GB

VRAM

配置（最近一次实测）
Windows 11 23H2 CUDA 12.6 Q4_K_S llama.cpp v0.34 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Llama-3.2-3B-Instruct · Q4_K_M

L2 跨框架验证

NVIDIA RTX 5090 · 32GB · Strata

其他

今天

367.38 tok/s

Decode

1,255.45 tok/s

Prefill

1.35 s

TTFT

7.27 GB

VRAM

配置（最近一次实测）
Ubuntu 22.04 CUDA 12.8 Q4_K_M Strata v0.35

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Llama-3.2-3B-Instruct · Q5_K_S

L2 跨框架验证

NVIDIA RTX 5090 · 32GB · Strata

其他

今天

289.95 tok/s

Decode

1,022.85 tok/s

Prefill

0.33 s

TTFT

7.77 GB

VRAM

配置（最近一次实测）
Ubuntu 22.04 CUDA 12.8 Q5_K_S Strata v0.25

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Llama-3.2-3B-Instruct · IQ1_S

L2 跨框架验证

NVIDIA RTX 5080 · 16GB · llama.cpp

其他

今天

351.28 tok/s

Decode

1,853.09 tok/s

Prefill

1.2 s

TTFT

4.75 GB

VRAM

配置（最近一次实测）
Windows 11 24H2 CUDA 13.0 IQ1_S llama.cpp v0.38 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Llama-3.2-3B-Instruct · IQ4_XS

L2 跨框架验证

NVIDIA RTX 5080 · 16GB · Ollama

其他

今天

362.6 tok/s

Decode

1,325.05 tok/s

Prefill

2.25 s

TTFT

6.76 GB

VRAM

配置（最近一次实测）
Ubuntu 22.04 CUDA 12.8 IQ4_XS Ollama v0.45 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Llama-3.2-3B-Instruct · IQ3_S

L2 跨框架验证

NVIDIA RTX 3060 12GB · 12GB · llama.cpp

其他

今天

193.44 tok/s

Decode

733.2 tok/s

Prefill

0.65 s

TTFT

6.26 GB

VRAM

配置（最近一次实测）
Windows 11 23H2 CUDA 12.6 IQ3_S llama.cpp v0.55

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Llama-3.2-3B-Instruct · Q5_K_S

L2 跨框架验证

NVIDIA RTX 3060 12GB · 12GB · llama.cpp

其他

今天

126.84 tok/s

Decode

630.8 tok/s

Prefill

0.66 s

TTFT

7.77 GB

VRAM

配置（最近一次实测）
Windows 11 24H2 CUDA 12.4 Q5_K_S llama.cpp v0.25 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Llama-3.2-3B-Instruct · Q5_K_M

L2 跨框架验证

NVIDIA RTX 3060 12GB · 12GB · vLLM

其他

今天

143.38 tok/s

Decode

521.02 tok/s

Prefill

1.74 s

TTFT

7.96 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 12.8 Q5_K_M vLLM v0.34 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Llama-3.2-3B-Instruct · IQ3_XS

L2 跨框架验证

AMD Radeon RX 9070 XT · 16GB · llama.cpp

其他

今天

319.75 tok/s

Decode

1,663.47 tok/s

Prefill

1.88 s

TTFT

6.01 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 12.6 IQ3_XS llama.cpp v0.48 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

共 59 条结果

相关模型
相关硬件
相关框架
相关量化