Qwen3.5-27B · Q6_K
L2 跨框架验证NVIDIA RTX Spark · 128GB · llama.cpp
其他
2026-10-20
8.03 tok/s
Decode
30.64 tok/s
Prefill
1.62 s
TTFT
58.8 GB
VRAM
配置(最近一次实测)
来源:其他 · 1 次实测 · 1 个独立来源
计数为运行配置组合(模型 + 硬件 + 框架 + 量化的聚合),同一组合的多次实测已合并;原始次数见各结果的来源行。
NVIDIA RTX Spark · 128GB · llama.cpp
其他
2026-10-20
8.03 tok/s
Decode
30.64 tok/s
Prefill
1.62 s
TTFT
58.8 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA RTX Spark · 128GB · llama.cpp
其他
2026-10-20
6.76 tok/s
Decode
25.64 tok/s
Prefill
2.76 s
TTFT
67.3 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA RTX Spark · 128GB · Ollama
其他
2026-10-20
4.9 tok/s
Decode
24.42 tok/s
Prefill
1.45 s
TTFT
107 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA RTX Spark · 128GB · Ollama
其他
2026-10-20
7.03 tok/s
Decode
31.25 tok/s
Prefill
2.12 s
TTFT
58.8 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA RTX Spark · 128GB · Ollama
其他
2026-10-20
6.87 tok/s
Decode
25.86 tok/s
Prefill
0.78 s
TTFT
67.3 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA RTX 3090 · 24GB · Ollama
其他
2026-10-19
89.8 tok/s
Decode
459.43 tok/s
Prefill
0.62 s
TTFT
22.8 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA RTX 5090 · 32GB · Ollama
其他
2026-10-19
206.43 tok/s
Decode
827.13 tok/s
Prefill
0.49 s
TTFT
30.4 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA RTX 5090 · 32GB · Strata
其他
2026-10-19
376.49 tok/s
Decode
1,620.15 tok/s
Prefill
2.12 s
TTFT
30.4 GB
VRAM
来源:其他 · 2 次实测 · 1 个独立来源
AMD Ryzen AI Max+ 395 · 128GB · vLLM
其他
2026-10-19
18.22 tok/s
Decode
78.36 tok/s
Prefill
0.25 s
TTFT
67.3 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
AMD Ryzen AI Max+ 395 · 128GB · Ollama
其他
2026-10-19
27.26 tok/s
Decode
100.74 tok/s
Prefill
1.95 s
TTFT
39.52 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
AMD Ryzen AI Max+ 395 · 128GB · Ollama
其他
2026-10-19
16.05 tok/s
Decode
66.18 tok/s
Prefill
1.36 s
TTFT
58.8 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
Apple M5 Max · 128GB · llama.cpp
其他
2026-10-19
65.62 tok/s
Decode
279.34 tok/s
Prefill
0.56 s
TTFT
33.29 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
Apple M5 Max · 128GB · Ollama
其他
2026-10-19
64.33 tok/s
Decode
209.5 tok/s
Prefill
0.89 s
TTFT
31.58 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
Apple M5 Max · 128GB · Ollama
其他
2026-10-19
62.24 tok/s
Decode
282.1 tok/s
Prefill
0.81 s
TTFT
37.25 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
Apple M5 Ultra · 512GB · llama.cpp
其他
2026-10-19
131.5 tok/s
Decode
444.06 tok/s
Prefill
0.28 s
TTFT
25.91 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
Apple M5 Ultra · 512GB · Ollama
其他
2026-10-19
84 tok/s
Decode
452.07 tok/s
Prefill
0.65 s
TTFT
38.96 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA H20 · 97GB · vLLM
其他
2026-10-19
63.17 tok/s
Decode
260.61 tok/s
Prefill
2.16 s
TTFT
29.32 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA H20 · 97GB · vLLM
其他
2026-10-19
27.55 tok/s
Decode
97.34 tok/s
Prefill
0.47 s
TTFT
67.3 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA H20 · 97GB · Strata
其他
2026-10-19
67.46 tok/s
Decode
225.71 tok/s
Prefill
0.85 s
TTFT
39.52 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA RTX PRO 6000 Blackwell 96GB · 96GB · llama.cpp
其他
2026-10-19
181.73 tok/s
Decode
687.5 tok/s
Prefill
0.67 s
TTFT
48.59 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
共 202 条结果