搜索实测数据

试试这些搜索

找到 199 个运行配置组合

计数为运行配置组合(模型 + 硬件 + 框架 + 量化的聚合),同一组合的多次实测已合并;原始次数见各结果的来源行。

模型Qwen3-8B

Qwen3-8B · Q4_K_M

L2 跨框架验证

NVIDIA RTX 4090 · 24GB · llama.cpp

其他

2026-10-19

142.71 tok/s

Decode

813.73 tok/s

Prefill

1.2 s

TTFT

10.64 GB

VRAM

配置(最近一次实测)
Windows 11 23H2 CUDA 12.8 Q4_K_M llama.cpp v0.48 Flash Attention

来源:其他 · 2 次实测 · 1 个独立来源

Qwen3-8B · IQ3_S

L2 跨框架验证

NVIDIA RTX 4090 · 24GB · vLLM

其他

2026-10-19

161.14 tok/s

Decode

813.02 tok/s

Prefill

1.76 s

TTFT

13.19 GB

VRAM

配置(最近一次实测)
Windows 11 23H2 CUDA 12.8 IQ3_S vLLM v0.43 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3-8B · IQ2_XS

L2 跨框架验证

NVIDIA RTX 3090 · 24GB · vLLM

其他

2026-10-19

113.39 tok/s

Decode

440.93 tok/s

Prefill

2.12 s

TTFT

10.16 GB

VRAM

配置(最近一次实测)
Windows 11 23H2 CUDA 12.8 IQ2_XS vLLM v0.41

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3-8B · Q2_K

L2 跨框架验证

NVIDIA RTX 3090 · 24GB · Ollama

其他

2026-10-19

98.87 tok/s

Decode

381.75 tok/s

Prefill

0.26 s

TTFT

11.34 GB

VRAM

配置(最近一次实测)
Windows 11 24H2 CUDA 12.6 Q2_K Ollama v0.32 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3-8B · Q5_K_S

L2 跨框架验证

AMD Radeon RX 7900 XTX · 24GB · llama.cpp

其他

2026-10-19

73.41 tok/s

Decode

264.95 tok/s

Prefill

1.27 s

TTFT

17.22 GB

VRAM

配置(最近一次实测)
Ubuntu 24.04 CUDA 12.8 Q5_K_S llama.cpp v0.49 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3-8B · IQ2_M

L2 跨框架验证

AMD Radeon RX 7900 XTX · 24GB · vLLM

其他

2026-10-19

127.88 tok/s

Decode

585.23 tok/s

Prefill

0.17 s

TTFT

10.84 GB

VRAM

配置(最近一次实测)
Windows 11 23H2 CUDA 12.8 IQ2_M vLLM v0.48

来源:其他 · 2 次实测 · 1 个独立来源

Qwen3-8B · Q2_K

L2 跨框架验证

AMD Radeon RX 7900 XTX · 24GB · vLLM

其他

2026-10-19

108.21 tok/s

Decode

417.97 tok/s

Prefill

1.3 s

TTFT

11.34 GB

VRAM

配置(最近一次实测)
Ubuntu 24.04 CUDA 12.8 Q2_K vLLM v0.29 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3-8B · IQ3_S

L2 跨框架验证

NVIDIA RTX 5090 · 32GB · Ollama

其他

2026-10-19

275.39 tok/s

Decode

1,404.89 tok/s

Prefill

2.09 s

TTFT

13.19 GB

VRAM

配置(最近一次实测)
Ubuntu 22.04 CUDA 12.6 IQ3_S Ollama v0.53 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3-8B · IQ4_XS

L2 跨框架验证

NVIDIA RTX 5090 · 32GB · Strata

其他

2026-10-19

340.69 tok/s

Decode

1,198.68 tok/s

Prefill

0.14 s

TTFT

14.53 GB

VRAM

配置(最近一次实测)
Windows 11 24H2 CUDA 12.4 IQ4_XS Strata v0.37 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3-8B · Q3_K_S

L2 跨框架验证

NVIDIA RTX 5080 · 16GB · llama.cpp

其他

2026-10-19

206.58 tok/s

Decode

831.19 tok/s

Prefill

0.14 s

TTFT

13.02 GB

VRAM

配置(最近一次实测)
Ubuntu 22.04 CUDA 12.6 Q3_K_S llama.cpp v0.38 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3-8B · IQ2_M

L2 跨框架验证

NVIDIA RTX 5080 · 16GB · vLLM

其他

2026-10-19

240.94 tok/s

Decode

1,234.91 tok/s

Prefill

0.25 s

TTFT

10.84 GB

VRAM

配置(最近一次实测)
Windows 11 23H2 CUDA 12.6 IQ2_M vLLM v0.27 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3-8B · Q3_K_S

L2 跨框架验证

NVIDIA RTX 3060 12GB · 12GB · vLLM

其他

2026-10-19

73.32 tok/s

Decode

238.24 tok/s

Prefill

0.61 s

TTFT

11.4 GB

VRAM

配置(最近一次实测)
Ubuntu 22.04 CUDA 12.8 Q3_K_S vLLM v0.34 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3-8B · IQ3_S

L2 跨框架验证

NVIDIA RTX 3060 12GB · 12GB · Ollama

其他

2026-10-19

58.42 tok/s

Decode

197.59 tok/s

Prefill

1.92 s

TTFT

11.4 GB

VRAM

配置(最近一次实测)
Ubuntu 22.04 CUDA 12.8 IQ3_S Ollama v0.42 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3-8B · Q3_K_S

L2 跨框架验证

NVIDIA RTX 4080 Super · 16GB · llama.cpp

其他

2026-10-19

168.36 tok/s

Decode

655.5 tok/s

Prefill

1.91 s

TTFT

13.02 GB

VRAM

配置(最近一次实测)
Ubuntu 22.04 CUDA 12.8 Q3_K_S llama.cpp v0.30 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3-8B · IQ2_M

L2 跨框架验证

NVIDIA RTX 4080 Super · 16GB · vLLM

其他

2026-10-19

214.44 tok/s

Decode

870.17 tok/s

Prefill

0.98 s

TTFT

10.84 GB

VRAM

配置(最近一次实测)
Ubuntu 24.04 CUDA 12.4 IQ2_M vLLM v0.41 Flash Attention

来源:其他 · 2 次实测 · 1 个独立来源

Qwen3-8B · Q3_K_S

L2 跨框架验证

AMD Ryzen AI Max+ 395 · 128GB · vLLM

其他

2026-10-19

38.79 tok/s

Decode

186.13 tok/s

Prefill

0.28 s

TTFT

13.02 GB

VRAM

配置(最近一次实测)
Ubuntu 22.04 CUDA 12.8 Q3_K_S vLLM v0.47

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3-8B · FP16

L2 跨框架验证

AMD Ryzen AI Max+ 395 · 128GB · Ollama

其他

2026-10-19

14.12 tok/s

Decode

69.25 tok/s

Prefill

0.35 s

TTFT

33.18 GB

VRAM

配置(最近一次实测)
Ubuntu 22.04 CUDA 12.4 FP16 Ollama v0.46 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3-8B · Q3_K_M

L2 跨框架验证

AMD Ryzen AI Max+ 395 · 128GB · Ollama

其他

2026-10-19

34.18 tok/s

Decode

132.79 tok/s

Prefill

0.58 s

TTFT

13.52 GB

VRAM

配置(最近一次实测)
Windows 11 23H2 CUDA 12.4 Q3_K_M Ollama v0.27 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3-8B · IQ1_S

L2 跨框架验证

Apple M5 Max · 128GB · llama.cpp

其他

2026-10-19

95.3 tok/s

Decode

467.44 tok/s

Prefill

1.9 s

TTFT

9.16 GB

VRAM

配置(最近一次实测)
macOS 26.1 IQ1_S llama.cpp v0.41 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3-8B · IQ2_M

L2 跨框架验证

Apple M5 Max · 128GB · Ollama

其他

2026-10-19

82.41 tok/s

Decode

283.9 tok/s

Prefill

2.19 s

TTFT

10.84 GB

VRAM

配置(最近一次实测)
macOS 26.1 IQ2_M Ollama v0.33

来源:其他 · 1 次实测 · 1 个独立来源

共 199 条结果

相关模型
相关硬件
相关框架
相关量化