Qwen3-30B-A3B · Q8_0
L0 自报NVIDIA RTX 5070 Ti · 16GB · vLLM
其他
2026-10-06
23.5 tok/s
Decode
176.3 tok/s
Prefill
0.57 s
TTFT
16 GB
VRAM
配置(最近一次实测)
来源:其他 · 1 次实测 · 1 个独立来源
计数为运行配置组合(模型 + 硬件 + 框架 + 量化的聚合),同一组合的多次实测已合并;原始次数见各结果的来源行。
NVIDIA RTX 5070 Ti · 16GB · vLLM
其他
2026-10-06
23.5 tok/s
Decode
176.3 tok/s
Prefill
0.57 s
TTFT
16 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA RTX 5070 Ti · 16GB · vLLM
其他
2026-10-06
34.2 tok/s
Decode
256.5 tok/s
Prefill
0.39 s
TTFT
16 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA RTX 5070 Ti · 16GB · vLLM
其他
2026-10-06
41.8 tok/s
Decode
313.5 tok/s
Prefill
0.32 s
TTFT
16 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA RTX 5070 Ti · 16GB · llama.cpp
其他
2026-10-06
21.6 tok/s
Decode
162 tok/s
Prefill
0.62 s
TTFT
16 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA RTX 5070 Ti · 16GB · llama.cpp
其他
2026-10-06
31.3 tok/s
Decode
234.8 tok/s
Prefill
0.43 s
TTFT
16 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA RTX 5070 Ti · 16GB · llama.cpp
其他
2026-10-06
38.4 tok/s
Decode
288 tok/s
Prefill
0.35 s
TTFT
16 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA RTX 5090 · 32GB · vLLM
其他
2026-10-06
47 tok/s
Decode
352.5 tok/s
Prefill
0.28 s
TTFT
32 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA RTX 5090 · 32GB · vLLM
其他
2026-10-06
68.3 tok/s
Decode
512.3 tok/s
Prefill
0.2 s
TTFT
22.8 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA RTX 5090 · 32GB · vLLM
其他
2026-10-06
83.7 tok/s
Decode
627.8 tok/s
Prefill
0.16 s
TTFT
18.7 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA RTX 5090 · 32GB · llama.cpp
其他
2026-10-06
43.1 tok/s
Decode
323.3 tok/s
Prefill
0.31 s
TTFT
32 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA RTX 5090 · 32GB · llama.cpp
其他
2026-10-06
62.7 tok/s
Decode
470.3 tok/s
Prefill
0.21 s
TTFT
22.8 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA RTX 5090 · 32GB · llama.cpp
其他
2026-10-06
76.8 tok/s
Decode
576 tok/s
Prefill
0.17 s
TTFT
18.7 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA RTX 4090 · 24GB · vLLM
其他
2026-10-06
26.4 tok/s
Decode
198 tok/s
Prefill
0.51 s
TTFT
24 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA RTX 4090 · 24GB · vLLM
其他
2026-10-06
38.4 tok/s
Decode
288 tok/s
Prefill
0.35 s
TTFT
22.8 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA RTX 4090 · 24GB · vLLM
其他
2026-10-06
47.1 tok/s
Decode
353.3 tok/s
Prefill
0.28 s
TTFT
18.7 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA RTX 4090 · 24GB · llama.cpp
其他
2026-10-06
24.3 tok/s
Decode
182.3 tok/s
Prefill
0.55 s
TTFT
24 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA RTX 4090 · 24GB · llama.cpp
其他
2026-10-06
35.3 tok/s
Decode
264.8 tok/s
Prefill
0.38 s
TTFT
22.8 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA RTX 4090 · 24GB · llama.cpp
其他
2026-10-06
43.2 tok/s
Decode
324 tok/s
Prefill
0.31 s
TTFT
18.7 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
共 18 条结果