Qwen3.8-9B · Q3_K_S
L2 跨框架验证NVIDIA RTX 4090 · 24GB · vLLM
其他
2026-10-19
144.28 tok/s
Decode
508.23 tok/s
Prefill
1.4 s
TTFT
14.38 GB
VRAM
配置(最近一次实测)
来源:其他 · 1 次实测 · 1 个独立来源
计数为运行配置组合(模型 + 硬件 + 框架 + 量化的聚合),同一组合的多次实测已合并;原始次数见各结果的来源行。
NVIDIA RTX 4090 · 24GB · vLLM
其他
2026-10-19
144.28 tok/s
Decode
508.23 tok/s
Prefill
1.4 s
TTFT
14.38 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA RTX 4090 · 24GB · Strata
其他
2026-10-19
168.91 tok/s
Decode
879.31 tok/s
Prefill
1.68 s
TTFT
17.6 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA RTX 3090 · 24GB · llama.cpp
其他
2026-10-19
104.18 tok/s
Decode
429.42 tok/s
Prefill
1.38 s
TTFT
11.17 GB
VRAM
来源:其他 · 2 次实测 · 1 个独立来源
NVIDIA RTX 3090 · 24GB · llama.cpp
其他
2026-10-19
44.9 tok/s
Decode
150.43 tok/s
Prefill
1.34 s
TTFT
22.8 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA RTX 3090 · 24GB · Strata
其他
2026-10-19
134.6 tok/s
Decode
685.06 tok/s
Prefill
1.83 s
TTFT
13.82 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA RTX 3090 · 24GB · Strata
其他
2026-10-19
103.74 tok/s
Decode
393.26 tok/s
Prefill
2.38 s
TTFT
15.71 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
AMD Radeon RX 7900 XTX · 24GB · llama.cpp
其他
2026-10-19
79 tok/s
Decode
351.53 tok/s
Prefill
0.12 s
TTFT
15.71 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
AMD Radeon RX 7900 XTX · 24GB · Ollama
其他
2026-10-19
81.43 tok/s
Decode
433.18 tok/s
Prefill
0.54 s
TTFT
14.38 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
AMD Radeon RX 7900 XTX · 24GB · Ollama
其他
2026-10-19
45.02 tok/s
Decode
207.48 tok/s
Prefill
0.21 s
TTFT
22.8 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA RTX 5090 · 32GB · llama.cpp
其他
2026-10-19
304.42 tok/s
Decode
1,543.97 tok/s
Prefill
0.28 s
TTFT
11.17 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA RTX 5090 · 32GB · llama.cpp
其他
2026-10-19
289.63 tok/s
Decode
1,418.95 tok/s
Prefill
1.71 s
TTFT
14.38 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA RTX 5090 · 32GB · vLLM
其他
2026-10-19
312.49 tok/s
Decode
1,617.22 tok/s
Prefill
2.01 s
TTFT
12.5 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA RTX 5090 · 32GB · vLLM
其他
2026-10-19
156.33 tok/s
Decode
685.96 tok/s
Prefill
1.11 s
TTFT
23.84 GB
VRAM
来源:其他 · 2 次实测 · 1 个独立来源
NVIDIA RTX 5080 · 16GB · llama.cpp
其他
2026-10-19
200.28 tok/s
Decode
716.67 tok/s
Prefill
1.97 s
TTFT
14.57 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA RTX 5080 · 16GB · vLLM
其他
2026-10-19
238.4 tok/s
Decode
951.3 tok/s
Prefill
2.01 s
TTFT
12.5 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA RTX 3060 12GB · 12GB · Ollama
其他
2026-10-19
64.94 tok/s
Decode
300.22 tok/s
Prefill
0.34 s
TTFT
11.4 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA RTX 4080 Super · 16GB · vLLM
其他
2026-10-19
181.18 tok/s
Decode
718.16 tok/s
Prefill
1.97 s
TTFT
11.93 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA RTX 4080 Super · 16GB · Strata
其他
2026-10-19
213.25 tok/s
Decode
900.93 tok/s
Prefill
2 s
TTFT
14.95 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA RTX 4080 Super · 16GB · Strata
其他
2026-10-19
210.74 tok/s
Decode
935.82 tok/s
Prefill
0.74 s
TTFT
14.38 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
AMD Ryzen AI Max+ 395 · 128GB · llama.cpp
其他
2026-10-19
26.52 tok/s
Decode
94.42 tok/s
Prefill
0.62 s
TTFT
17.6 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
共 179 条结果