Qwen2.5-Omni-3B · IQ4_XS
L2 跨框架验证NVIDIA RTX 5090 · 32GB · llama.cpp
其他
2026-10-15
375.39 tok/s
Decode
1,839.32 tok/s
Prefill
1.93 s
TTFT
6.76 GB
VRAM
配置(最近一次实测)
来源:其他 · 1 次实测 · 1 个独立来源
计数为运行配置组合(模型 + 硬件 + 框架 + 量化的聚合),同一组合的多次实测已合并;原始次数见各结果的来源行。
NVIDIA RTX 5090 · 32GB · llama.cpp
其他
2026-10-15
375.39 tok/s
Decode
1,839.32 tok/s
Prefill
1.93 s
TTFT
6.76 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA RTX 5090 · 32GB · llama.cpp
其他
2026-10-15
277.82 tok/s
Decode
934.6 tok/s
Prefill
0.26 s
TTFT
8.4 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA RTX 5090 · 32GB · Strata
其他
2026-10-15
238.76 tok/s
Decode
798.02 tok/s
Prefill
1.22 s
TTFT
13.76 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA RTX 5090 · 32GB · Strata
其他
2026-10-15
359.64 tok/s
Decode
1,323.17 tok/s
Prefill
0.17 s
TTFT
6.26 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
AMD Ryzen AI Max+ 395 · 128GB · vLLM
其他
2026-10-15
201.15 tok/s
Decode
1,047.45 tok/s
Prefill
0.31 s
TTFT
6.26 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
AMD Ryzen AI Max+ 395 · 128GB · vLLM
其他
2026-10-15
204.49 tok/s
Decode
918.23 tok/s
Prefill
2.46 s
TTFT
5.57 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
AMD Ryzen AI Max+ 395 · 128GB · Strata
其他
2026-10-15
218.64 tok/s
Decode
754.88 tok/s
Prefill
1.97 s
TTFT
7.27 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
AMD Ryzen AI Max+ 395 · 128GB · Strata
其他
2026-10-15
147.88 tok/s
Decode
774.09 tok/s
Prefill
0.12 s
TTFT
9.35 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
Apple M5 Max · 128GB · llama.cpp
其他
2026-10-15
341.31 tok/s
Decode
1,584.99 tok/s
Prefill
1.01 s
TTFT
6.26 GB
VRAM
来源:其他 · 2 次实测 · 1 个独立来源
Apple M5 Max · 128GB · llama.cpp
其他
2026-10-15
221.16 tok/s
Decode
1,117.52 tok/s
Prefill
0.72 s
TTFT
8.4 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
Apple M5 Max · 128GB · Strata
其他
2026-10-15
241.28 tok/s
Decode
991.2 tok/s
Prefill
0.21 s
TTFT
9.35 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA DGX Spark · 128GB · vLLM
其他
2026-10-15
258.63 tok/s
Decode
1,322.45 tok/s
Prefill
0.49 s
TTFT
6.38 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA DGX Spark · 128GB · vLLM
其他
2026-10-15
183.75 tok/s
Decode
675.77 tok/s
Prefill
1.58 s
TTFT
7.96 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA DGX Spark · 128GB · Ollama
其他
2026-10-15
292.67 tok/s
Decode
1,302.54 tok/s
Prefill
0.89 s
TTFT
5.38 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA Jetson AGX Orin 64GB · 64GB · vLLM
其他
2026-10-15
135.17 tok/s
Decode
565.39 tok/s
Prefill
1.13 s
TTFT
4.75 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA Jetson AGX Orin 64GB · 64GB · vLLM
其他
2026-10-15
118.95 tok/s
Decode
465.31 tok/s
Prefill
0.53 s
TTFT
5.57 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA Jetson AGX Orin 64GB · 64GB · Strata
其他
2026-10-15
147.6 tok/s
Decode
732.7 tok/s
Prefill
0.59 s
TTFT
6.2 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
AMD Strix Halo (Radeon 8060S) · llama.cpp
其他
2026-10-15
127.7 tok/s
Decode
503.71 tok/s
Prefill
0.82 s
TTFT
6.76 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
AMD Strix Halo (Radeon 8060S) · Ollama
其他
2026-10-15
115.67 tok/s
Decode
506.03 tok/s
Prefill
0.87 s
TTFT
7.01 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
AMD Strix Halo (Radeon 8060S) · Ollama
其他
2026-10-15
87.89 tok/s
Decode
401.06 tok/s
Prefill
1.13 s
TTFT
7.96 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
共 104 条结果