Qwen3.5-4B · Q4_K_M
L2 跨框架验证NVIDIA RTX Spark · 128GB · llama.cpp
其他
2026-10-20
90.26 tok/s
Decode
398.49 tok/s
Prefill
0.8 s
TTFT
8.99 GB
VRAM
配置(最近一次实测)
来源:其他 · 2 次实测 · 1 个独立来源
计数为运行配置组合(模型 + 硬件 + 框架 + 量化的聚合),同一组合的多次实测已合并;原始次数见各结果的来源行。
NVIDIA RTX Spark · 128GB · llama.cpp
其他
2026-10-20
90.26 tok/s
Decode
398.49 tok/s
Prefill
0.8 s
TTFT
8.99 GB
VRAM
来源:其他 · 2 次实测 · 1 个独立来源
NVIDIA RTX Spark · 128GB · llama.cpp
其他
2026-10-20
71.83 tok/s
Decode
346.83 tok/s
Prefill
2.77 s
TTFT
9.91 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA RTX Spark · 128GB · llama.cpp
其他
2026-10-20
64.66 tok/s
Decode
241.03 tok/s
Prefill
2.62 s
TTFT
11.76 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA RTX Spark · 128GB · Ollama
其他
2026-10-20
40.67 tok/s
Decode
196.29 tok/s
Prefill
1.02 s
TTFT
17.64 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA RTX Spark · 128GB · Ollama
其他
2026-10-20
69.06 tok/s
Decode
289.88 tok/s
Prefill
1.93 s
TTFT
9.91 GB
VRAM
来源:其他 · 2 次实测 · 1 个独立来源
NVIDIA RTX Spark · 128GB · Ollama
其他
2026-10-20
56.21 tok/s
Decode
286.64 tok/s
Prefill
3.41 s
TTFT
11.76 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA RTX 4090 · 24GB · llama.cpp
其他
2026-10-19
181.19 tok/s
Decode
930.71 tok/s
Prefill
1.77 s
TTFT
7.56 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA RTX 4090 · 24GB · Strata
其他
2026-10-19
236.63 tok/s
Decode
1,225.73 tok/s
Prefill
1.2 s
TTFT
8.15 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA RTX 3090 · 24GB · llama.cpp
其他
2026-10-19
137.84 tok/s
Decode
685.72 tok/s
Prefill
1.34 s
TTFT
6.72 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA RTX 3090 · 24GB · llama.cpp
其他
2026-10-19
115.05 tok/s
Decode
556.74 tok/s
Prefill
0.12 s
TTFT
7.56 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA RTX 3090 · 24GB · Ollama
其他
2026-10-19
101.46 tok/s
Decode
355.86 tok/s
Prefill
1.92 s
TTFT
7.81 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA RTX 3090 · 24GB · Ollama
其他
2026-10-19
80.28 tok/s
Decode
423.81 tok/s
Prefill
0.11 s
TTFT
9.91 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
AMD Radeon RX 7900 XTX · 24GB · vLLM
其他
2026-10-19
100.76 tok/s
Decode
500.94 tok/s
Prefill
2.42 s
TTFT
8.99 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
AMD Radeon RX 7900 XTX · 24GB · vLLM
其他
2026-10-19
113.75 tok/s
Decode
494.84 tok/s
Prefill
0.68 s
TTFT
8.65 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
AMD Radeon RX 7900 XTX · 24GB · Ollama
其他
2026-10-19
108.14 tok/s
Decode
521.92 tok/s
Prefill
1.49 s
TTFT
8.15 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
AMD Radeon RX 7900 XTX · 24GB · Ollama
其他
2026-10-19
103.32 tok/s
Decode
530.53 tok/s
Prefill
1.79 s
TTFT
7.81 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA RTX 5090 · 32GB · vLLM
其他
2026-10-19
332.71 tok/s
Decode
1,515.74 tok/s
Prefill
0.87 s
TTFT
5.63 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA RTX 5090 · 32GB · Strata
其他
2026-10-19
310.61 tok/s
Decode
1,498.07 tok/s
Prefill
0.99 s
TTFT
10.5 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA RTX 5080 · 16GB · Ollama
其他
2026-10-19
104.67 tok/s
Decode
436.92 tok/s
Prefill
1.15 s
TTFT
15.2 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA RTX 5080 · 16GB · Ollama
其他
2026-10-19
194.55 tok/s
Decode
763.79 tok/s
Prefill
1.92 s
TTFT
8.65 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
共 223 条结果