Qwen3-4B · FP16
L2 跨框架验证NVIDIA RTX 5090 · 32GB · llama.cpp
其他
2026-10-15
149.3 tok/s
Decode
589.87 tok/s
Prefill
1.74 s
TTFT
17.64 GB
VRAM
配置(最近一次实测)
来源:其他 · 1 次实测 · 1 个独立来源
计数为运行配置组合(模型 + 硬件 + 框架 + 量化的聚合),同一组合的多次实测已合并;原始次数见各结果的来源行。
NVIDIA RTX 5090 · 32GB · llama.cpp
其他
2026-10-15
149.3 tok/s
Decode
589.87 tok/s
Prefill
1.74 s
TTFT
17.64 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA RTX 5090 · 32GB · llama.cpp
其他
2026-10-15
335.8 tok/s
Decode
1,082.78 tok/s
Prefill
2.49 s
TTFT
8.32 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA RTX 5090 · 32GB · Ollama
其他
2026-10-15
349.78 tok/s
Decode
1,805.86 tok/s
Prefill
2.21 s
TTFT
7.31 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
AMD Ryzen AI Max+ 395 · 128GB · llama.cpp
其他
2026-10-15
104.54 tok/s
Decode
394.29 tok/s
Prefill
1.55 s
TTFT
10.5 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
AMD Ryzen AI Max+ 395 · 128GB · Ollama
其他
2026-10-15
170.91 tok/s
Decode
585.17 tok/s
Prefill
1.77 s
TTFT
5.63 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
AMD Ryzen AI Max+ 395 · 128GB · Ollama
其他
2026-10-15
170.8 tok/s
Decode
683.91 tok/s
Prefill
2.12 s
TTFT
6.47 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
Apple M5 Max · 128GB · llama.cpp
其他
2026-10-15
253.55 tok/s
Decode
980.61 tok/s
Prefill
1.61 s
TTFT
8.15 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
Apple M5 Max · 128GB · Ollama
其他
2026-10-15
308.45 tok/s
Decode
1,307.27 tok/s
Prefill
1.61 s
TTFT
6.13 GB
VRAM
来源:其他 · 2 次实测 · 1 个独立来源
Apple M5 Max · 128GB · Ollama
其他
2026-10-15
249.13 tok/s
Decode
1,132.99 tok/s
Prefill
2.37 s
TTFT
7.31 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA DGX Spark · 128GB · llama.cpp
其他
2026-10-15
206.5 tok/s
Decode
1,076.24 tok/s
Prefill
0.36 s
TTFT
7.81 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA DGX Spark · 128GB · Strata
其他
2026-10-15
338.04 tok/s
Decode
1,544.38 tok/s
Prefill
2.43 s
TTFT
7.56 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA DGX Spark · 128GB · Strata
其他
2026-10-15
221.01 tok/s
Decode
864.66 tok/s
Prefill
1.24 s
TTFT
9.91 GB
VRAM
来源:其他 · 2 次实测 · 1 个独立来源
NVIDIA Jetson AGX Orin 64GB · 64GB · llama.cpp
其他
2026-10-15
92.76 tok/s
Decode
306.43 tok/s
Prefill
2.34 s
TTFT
6.47 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA Jetson AGX Orin 64GB · 64GB · vLLM
其他
2026-10-15
96.3 tok/s
Decode
512.46 tok/s
Prefill
1.22 s
TTFT
6.47 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA Jetson AGX Orin 64GB · 64GB · vLLM
其他
2026-10-15
95.78 tok/s
Decode
454.64 tok/s
Prefill
2.45 s
TTFT
6.72 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
AMD Strix Halo (Radeon 8060S) · llama.cpp
其他
2026-10-15
106.73 tok/s
Decode
450.35 tok/s
Prefill
1.18 s
TTFT
8.65 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
AMD Strix Halo (Radeon 8060S) · Strata
其他
2026-10-15
150.62 tok/s
Decode
773.06 tok/s
Prefill
1.45 s
TTFT
8.65 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
AMD Strix Halo (Radeon 8060S) · Strata
其他
2026-10-15
108.81 tok/s
Decode
551.07 tok/s
Prefill
0.41 s
TTFT
10.5 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
2x AMD Strix Halo · llama.cpp
其他
2026-10-15
87.02 tok/s
Decode
443.84 tok/s
Prefill
0.62 s
TTFT
17.64 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
2x AMD Strix Halo · Ollama
其他
2026-10-15
197.15 tok/s
Decode
955.03 tok/s
Prefill
1.71 s
TTFT
7.64 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
共 88 条结果