Arao AI

搜索实测数据

试试这些搜索

找到 95 个运行配置组合

计数为运行配置组合（模型 + 硬件 + 框架 + 量化的聚合），同一组合的多次实测已合并；原始次数见各结果的来源行。

模型Llama-3.1-8B-Instruct

Llama-3.1-8B-Instruct · Q4_K_M

L2 跨框架验证

NVIDIA RTX Spark · 128GB · llama.cpp

其他

16 天前

53.5 tok/s

Decode

208.91 tok/s

Prefill

1.72 s

TTFT

15.88 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 13.0 Q4_K_M llama.cpp v0.46

来源：其他 · 2 次实测 · 1 个独立来源

查看详情

Llama-3.1-8B-Instruct · Q5_K_M

L2 跨框架验证

NVIDIA RTX Spark · 128GB · llama.cpp

其他

16 天前

46.73 tok/s

Decode

200.62 tok/s

Prefill

2.34 s

TTFT

17.72 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 13.0 Q5_K_M llama.cpp v0.25 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Llama-3.1-8B-Instruct · Q8_0

L2 跨框架验证

NVIDIA RTX Spark · 128GB · llama.cpp

其他

16 天前

35.36 tok/s

Decode

182.04 tok/s

Prefill

1.26 s

TTFT

21.42 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 13.0 Q8_0 llama.cpp v0.33

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Llama-3.1-8B-Instruct · FP16

L2 跨框架验证

NVIDIA RTX Spark · 128GB · Ollama

其他

16 天前

27.91 tok/s

Decode

99.5 tok/s

Prefill

0.97 s

TTFT

33.18 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 13.0 FP16 Ollama v0.46 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Llama-3.1-8B-Instruct · Q6_K

L2 跨框架验证

NVIDIA RTX Spark · 128GB · Ollama

其他

16 天前

40.65 tok/s

Decode

194.34 tok/s

Prefill

2.58 s

TTFT

18.9 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 13.0 Q6_K Ollama v0.43

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Llama-3.1-8B-Instruct · Q8_0

L2 跨框架验证

NVIDIA RTX Spark · 128GB · Ollama

其他

16 天前

37 tok/s

Decode

131.55 tok/s

Prefill

1.13 s

TTFT

21.42 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 13.0 Q8_0 Ollama v0.48

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Llama-3.1-8B-Instruct · IQ2_XS

L2 跨框架验证

NVIDIA RTX 4090 · 24GB · vLLM

其他

17 天前

205.12 tok/s

Decode

1,126.08 tok/s

Prefill

1.81 s

TTFT

10.16 GB

VRAM

配置（最近一次实测）
Windows 11 24H2 CUDA 12.4 IQ2_XS vLLM v0.31 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Llama-3.1-8B-Instruct · Q4_K_M

L2 跨框架验证

NVIDIA RTX 4090 · 24GB · Strata

其他

17 天前

191.74 tok/s

Decode

642.2 tok/s

Prefill

1.28 s

TTFT

15.88 GB

VRAM

配置（最近一次实测）
Windows 11 23H2 CUDA 12.4 Q4_K_M Strata v0.29 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Llama-3.1-8B-Instruct · Q6_K

L2 跨框架验证

NVIDIA RTX 4090 · 24GB · Strata

其他

17 天前

151.86 tok/s

Decode

574.29 tok/s

Prefill

2.15 s

TTFT

18.9 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 12.6 Q6_K Strata v0.37 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Llama-3.1-8B-Instruct · Q8_0

L2 跨框架验证

NVIDIA RTX 3090 · 24GB · vLLM

其他

17 天前

64.44 tok/s

Decode

290.44 tok/s

Prefill

1.31 s

TTFT

21.42 GB

VRAM

配置（最近一次实测）
Windows 11 24H2 CUDA 12.8 Q8_0 vLLM v0.54 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Llama-3.1-8B-Instruct · IQ3_XS

L2 跨框架验证

NVIDIA RTX 3090 · 24GB · Ollama

其他

17 天前

101.05 tok/s

Decode

370.05 tok/s

Prefill

1.79 s

TTFT

12.52 GB

VRAM

配置（最近一次实测）
Windows 11 23H2 CUDA 12.6 IQ3_XS Ollama v0.29

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Llama-3.1-8B-Instruct · Q3_K_S

L2 跨框架验证

AMD Radeon RX 7900 XTX · 24GB · llama.cpp

其他

17 天前

102.17 tok/s

Decode

424.1 tok/s

Prefill

1.7 s

TTFT

13.02 GB

VRAM

配置（最近一次实测）
Windows 11 23H2 CUDA 12.8 Q3_K_S llama.cpp v0.39 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Llama-3.1-8B-Instruct · Q4_K_M

L2 跨框架验证

AMD Radeon RX 7900 XTX · 24GB · llama.cpp

其他

17 天前

83.47 tok/s

Decode

411.3 tok/s

Prefill

1.84 s

TTFT

15.88 GB

VRAM

配置（最近一次实测）
Ubuntu 22.04 CUDA 12.4 Q4_K_M llama.cpp v0.20 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Llama-3.1-8B-Instruct · Q3_K_M

L2 跨框架验证

AMD Radeon RX 7900 XTX · 24GB · vLLM

其他

17 天前

114.54 tok/s

Decode

374.54 tok/s

Prefill

1.68 s

TTFT

13.52 GB

VRAM

配置（最近一次实测）
Windows 11 23H2 CUDA 12.8 Q3_K_M vLLM v0.21 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Llama-3.1-8B-Instruct · Q4_K_M

L2 跨框架验证

AMD Radeon RX 7900 XTX · 24GB · vLLM

其他

17 天前

87.13 tok/s

Decode

426.78 tok/s

Prefill

1.46 s

TTFT

15.88 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 12.8 Q4_K_M vLLM v0.32 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Llama-3.1-8B-Instruct · Q5_K_S

L2 跨框架验证

NVIDIA RTX 5090 · 32GB · Ollama

其他

17 天前

220.5 tok/s

Decode

854 tok/s

Prefill

1.41 s

TTFT

17.22 GB

VRAM

配置（最近一次实测）
Windows 11 23H2 CUDA 12.4 Q5_K_S Ollama v0.23

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Llama-3.1-8B-Instruct · IQ3_S

L2 跨框架验证

NVIDIA RTX 5090 · 32GB · Strata

其他

17 天前

280 tok/s

Decode

1,358.66 tok/s

Prefill

1.41 s

TTFT

13.19 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 12.6 IQ3_S Strata v0.22 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Llama-3.1-8B-Instruct · Q5_K_M

L2 跨框架验证

NVIDIA RTX 5090 · 32GB · Strata

其他

17 天前

297.96 tok/s

Decode

1,229.8 tok/s

Prefill

2.28 s

TTFT

17.72 GB

VRAM

配置（最近一次实测）
Ubuntu 22.04 CUDA 12.8 Q5_K_M Strata v0.21 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Llama-3.1-8B-Instruct · Q5_K_S

L2 跨框架验证

NVIDIA RTX 5080 · 16GB · Ollama

其他

17 天前

149.47 tok/s

Decode

563.58 tok/s

Prefill

1.49 s

TTFT

15.2 GB

VRAM

配置（最近一次实测）
Ubuntu 22.04 CUDA 12.4 Q5_K_S Ollama v0.21 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Llama-3.1-8B-Instruct · IQ3_S

L2 跨框架验证

NVIDIA RTX 5080 · 16GB · Strata

其他

17 天前

302.96 tok/s

Decode

1,550.76 tok/s

Prefill

2.09 s

TTFT

13.19 GB

VRAM

配置（最近一次实测）
Windows 11 23H2 CUDA 12.4 IQ3_S Strata v0.26

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

共 95 条结果

相关模型
相关硬件
相关框架
相关量化