gemma-4-31B-it · FP16
L2 跨框架验证NVIDIA RTX Spark · 128GB · llama.cpp
其他
2026-10-20
4.66 tok/s
Decode
23.51 tok/s
Prefill
3.09 s
TTFT
110.2 GB
VRAM
配置(最近一次实测)
来源:其他 · 1 次实测 · 1 个独立来源
计数为运行配置组合(模型 + 硬件 + 框架 + 量化的聚合),同一组合的多次实测已合并;原始次数见各结果的来源行。
NVIDIA RTX Spark · 128GB · llama.cpp
其他
2026-10-20
4.66 tok/s
Decode
23.51 tok/s
Prefill
3.09 s
TTFT
110.2 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA RTX Spark · 128GB · llama.cpp
其他
2026-10-20
6.37 tok/s
Decode
31.53 tok/s
Prefill
0.54 s
TTFT
67.2 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA RTX Spark · 128GB · llama.cpp
其他
2026-10-20
5.75 tok/s
Decode
29.94 tok/s
Prefill
1.91 s
TTFT
76.97 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA RTX Spark · 128GB · Ollama
其他
2026-10-20
3.97 tok/s
Decode
19.3 tok/s
Prefill
1.68 s
TTFT
110.2 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA RTX Spark · 128GB · Ollama
其他
2026-10-20
5.28 tok/s
Decode
19.56 tok/s
Prefill
3.29 s
TTFT
76.97 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA RTX 5090 · 32GB · Strata
其他
2026-10-19
284.29 tok/s
Decode
1,098.95 tok/s
Prefill
0.1 s
TTFT
30.4 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
AMD Ryzen AI Max+ 395 · 128GB · llama.cpp
其他
2026-10-19
24.41 tok/s
Decode
110.5 tok/s
Prefill
0.82 s
TTFT
35.95 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
AMD Ryzen AI Max+ 395 · 128GB · llama.cpp
其他
2026-10-19
25.14 tok/s
Decode
89.05 tok/s
Prefill
0.16 s
TTFT
33.35 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
AMD Ryzen AI Max+ 395 · 128GB · Ollama
其他
2026-10-19
24.86 tok/s
Decode
123.01 tok/s
Prefill
1.69 s
TTFT
35.95 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
Apple M5 Max · 128GB · llama.cpp
其他
2026-10-19
64.71 tok/s
Decode
267.16 tok/s
Prefill
0.33 s
TTFT
29.44 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
Apple M5 Max · 128GB · llama.cpp
其他
2026-10-19
58.24 tok/s
Decode
303.37 tok/s
Prefill
2.49 s
TTFT
33.35 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
Apple M5 Max · 128GB · Ollama
其他
2026-10-19
32.9 tok/s
Decode
145.14 tok/s
Prefill
1.6 s
TTFT
55.48 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
Apple M5 Ultra · 512GB · llama.cpp
其他
2026-10-19
65.89 tok/s
Decode
258.39 tok/s
Prefill
2.06 s
TTFT
48.97 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
Apple M5 Ultra · 512GB · llama.cpp
其他
2026-10-19
37.99 tok/s
Decode
165.65 tok/s
Prefill
2.29 s
TTFT
76.97 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
Apple M5 Ultra · 512GB · Ollama
其他
2026-10-19
75.92 tok/s
Decode
280.65 tok/s
Prefill
1.29 s
TTFT
37.91 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
Apple M5 Ultra · 512GB · Ollama
其他
2026-10-19
38.85 tok/s
Decode
140.28 tok/s
Prefill
2.44 s
TTFT
76.97 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA H100 80GB HBM3 · 80GB · vLLM
其他
2026-10-19
338.72 tok/s
Decode
1,535.63 tok/s
Prefill
0.31 s
TTFT
42.46 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA H100 80GB HBM3 · 80GB · vLLM
其他
2026-10-19
275.73 tok/s
Decode
1,508 tok/s
Prefill
1.79 s
TTFT
46.37 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA H100 80GB HBM3 · 80GB · Strata
其他
2026-10-19
299.9 tok/s
Decode
1,290.71 tok/s
Prefill
2.15 s
TTFT
60.69 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA H100 80GB HBM3 · 80GB · Strata
其他
2026-10-19
276.83 tok/s
Decode
1,508.76 tok/s
Prefill
0.3 s
TTFT
67.2 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
共 75 条结果