Arao AI

搜索实测数据

试试这些搜索

找到 86 个运行配置组合

计数为运行配置组合（模型 + 硬件 + 框架 + 量化的聚合），同一组合的多次实测已合并；原始次数见各结果的来源行。

模型Llama-3-8B-Instruct

Llama-3-8B-Instruct · Q5_K_S

L2 跨框架验证

NVIDIA RTX 4090 · 24GB · llama.cpp

其他

17 天前

118.71 tok/s

Decode

394.1 tok/s

Prefill

0.47 s

TTFT

17.22 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 12.4 Q5_K_S llama.cpp v0.32

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Llama-3-8B-Instruct · IQ3_S

L2 跨框架验证

NVIDIA RTX 4090 · 24GB · vLLM

其他

17 天前

177.41 tok/s

Decode

791.84 tok/s

Prefill

1.22 s

TTFT

13.19 GB

VRAM

配置（最近一次实测）
Windows 11 24H2 CUDA 12.8 IQ3_S vLLM v0.40 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Llama-3-8B-Instruct · Q4_K_S

L2 跨框架验证

NVIDIA RTX 4090 · 24GB · vLLM

其他

17 天前

157.4 tok/s

Decode

646.64 tok/s

Prefill

1.85 s

TTFT

15.2 GB

VRAM

配置（最近一次实测）
Windows 11 23H2 CUDA 12.6 Q4_K_S vLLM v0.32 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Llama-3-8B-Instruct · Q5_K_S

L2 跨框架验证

NVIDIA RTX 3090 · 24GB · Ollama

其他

17 天前

67.97 tok/s

Decode

263.38 tok/s

Prefill

0.42 s

TTFT

17.22 GB

VRAM

配置（最近一次实测）
Windows 11 23H2 CUDA 12.8 Q5_K_S Ollama v0.51 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Llama-3-8B-Instruct · IQ3_S

L2 跨框架验证

NVIDIA RTX 3090 · 24GB · Strata

其他

17 天前

155.86 tok/s

Decode

503.14 tok/s

Prefill

1.78 s

TTFT

13.19 GB

VRAM

配置（最近一次实测）
Windows 11 23H2 CUDA 12.4 IQ3_S Strata v0.30

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Llama-3-8B-Instruct · Q5_K_M

L2 跨框架验证

NVIDIA RTX 3090 · 24GB · Strata

其他

17 天前

101.92 tok/s

Decode

340.28 tok/s

Prefill

1.15 s

TTFT

17.72 GB

VRAM

配置（最近一次实测）
Windows 11 24H2 CUDA 12.8 Q5_K_M Strata v0.33 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Llama-3-8B-Instruct · Q4_K_M

L2 跨框架验证

AMD Radeon RX 7900 XTX · 24GB · vLLM

其他

17 天前

95.65 tok/s

Decode

325.43 tok/s

Prefill

1.27 s

TTFT

15.88 GB

VRAM

配置（最近一次实测）
Windows 11 23H2 CUDA 12.8 Q4_K_M vLLM v0.48

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Llama-3-8B-Instruct · Q5_K_S

L2 跨框架验证

AMD Radeon RX 7900 XTX · 24GB · Ollama

其他

17 天前

74.72 tok/s

Decode

318.2 tok/s

Prefill

0.55 s

TTFT

17.22 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 12.6 Q5_K_S Ollama v0.35 Flash Attention

来源：其他 · 2 次实测 · 1 个独立来源

查看详情

Llama-3-8B-Instruct · IQ3_XS

L2 跨框架验证

NVIDIA RTX 5090 · 32GB · vLLM

其他

17 天前

353.35 tok/s

Decode

1,757.41 tok/s

Prefill

0.81 s

TTFT

12.52 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 12.8 IQ3_XS vLLM v0.39 Flash Attention

来源：其他 · 2 次实测 · 1 个独立来源

查看详情

Llama-3-8B-Instruct · Q4_K_M

L2 跨框架验证

NVIDIA RTX 5090 · 32GB · vLLM

其他

17 天前

288.35 tok/s

Decode

1,282.34 tok/s

Prefill

1.36 s

TTFT

15.88 GB

VRAM

配置（最近一次实测）
Windows 11 23H2 CUDA 12.4 Q4_K_M vLLM v0.44 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Llama-3-8B-Instruct · Q5_K_M

L2 跨框架验证

NVIDIA RTX 5090 · 32GB · Ollama

其他

17 天前

226.28 tok/s

Decode

869.25 tok/s

Prefill

0.43 s

TTFT

17.72 GB

VRAM

配置（最近一次实测）
Windows 11 24H2 CUDA 12.4 Q5_K_M Ollama v0.31 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Llama-3-8B-Instruct · IQ3_S

L2 跨框架验证

NVIDIA RTX 5080 · 16GB · Ollama

其他

17 天前

199.24 tok/s

Decode

946.23 tok/s

Prefill

0.15 s

TTFT

13.19 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 12.4 IQ3_S Ollama v0.39 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Llama-3-8B-Instruct · Q3_K_S

L2 跨框架验证

NVIDIA RTX 5080 · 16GB · Ollama

其他

17 天前

204.49 tok/s

Decode

898.01 tok/s

Prefill

0.55 s

TTFT

13.02 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 12.8 Q3_K_S Ollama v0.37

来源：其他 · 2 次实测 · 1 个独立来源

查看详情

Llama-3-8B-Instruct · IQ1_S

L2 跨框架验证

NVIDIA RTX 5080 · 16GB · Strata

其他

17 天前

349.68 tok/s

Decode

1,703.4 tok/s

Prefill

1.59 s

TTFT

9.16 GB

VRAM

配置（最近一次实测）
Windows 11 23H2 CUDA 12.4 IQ1_S Strata v0.27

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Llama-3-8B-Instruct · Q3_K_L

L2 跨框架验证

NVIDIA RTX 5080 · 16GB · Strata

其他

17 天前

297.89 tok/s

Decode

1,445.32 tok/s

Prefill

2.26 s

TTFT

14.2 GB

VRAM

配置（最近一次实测）
Ubuntu 22.04 CUDA 12.6 Q3_K_L Strata v0.32

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Llama-3-8B-Instruct · Q3_K_M

L2 跨框架验证

NVIDIA RTX 3060 12GB · 12GB · Strata

其他

17 天前

95.19 tok/s

Decode

317.89 tok/s

Prefill

0.3 s

TTFT

11.4 GB

VRAM

配置（最近一次实测）
Ubuntu 22.04 CUDA 12.8 Q3_K_M Strata v0.37

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Llama-3-8B-Instruct · IQ3_XS

L2 跨框架验证

NVIDIA RTX 4080 Super · 16GB · Ollama

其他

17 天前

190.92 tok/s

Decode

657.75 tok/s

Prefill

1.17 s

TTFT

12.52 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 12.4 IQ3_XS Ollama v0.34

来源：其他 · 2 次实测 · 1 个独立来源

查看详情

Llama-3-8B-Instruct · IQ2_XS

L2 跨框架验证

NVIDIA RTX 4080 Super · 16GB · Strata

其他

17 天前

334.52 tok/s

Decode

1,091.81 tok/s

Prefill

2.26 s

TTFT

10.16 GB

VRAM

配置（最近一次实测）
Windows 11 24H2 CUDA 12.8 IQ2_XS Strata v0.44 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Llama-3-8B-Instruct · IQ2_M

L2 跨框架验证

AMD Ryzen AI Max+ 395 · 128GB · vLLM

其他

17 天前

48.9 tok/s

Decode

230.21 tok/s

Prefill

1.68 s

TTFT

10.84 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 12.8 IQ2_M vLLM v0.31 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Llama-3-8B-Instruct · Q5_K_M

L2 跨框架验证

AMD Ryzen AI Max+ 395 · 128GB · vLLM

其他

17 天前

31.8 tok/s

Decode

157.2 tok/s

Prefill

2.46 s

TTFT

17.72 GB

VRAM

配置（最近一次实测）
Windows 11 23H2 CUDA 12.4 Q5_K_M vLLM v0.36 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

共 86 条结果

相关模型
相关硬件
相关框架
相关量化