Ministral-3-8B-Instruct-2512 · Q3_K_S
L2 跨框架验证NVIDIA RTX 4090 · 24GB · Ollama
其他
28 天前
142.08 tok/s
Decode
478.74 tok/s
Prefill
0.52 s
TTFT
13.02 GB
VRAM
配置(最近一次实测)
来源:其他 · 1 次实测 · 1 个独立来源
计数为运行配置组合(模型 + 硬件 + 框架 + 量化的聚合),同一组合的多次实测已合并;原始次数见各结果的来源行。
NVIDIA RTX 4090 · 24GB · Ollama
其他
28 天前
142.08 tok/s
Decode
478.74 tok/s
Prefill
0.52 s
TTFT
13.02 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA RTX 4090 · 24GB · Strata
其他
28 天前
230.86 tok/s
Decode
912.94 tok/s
Prefill
2.17 s
TTFT
10.84 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA RTX 3090 · 24GB · vLLM
其他
28 天前
94.16 tok/s
Decode
413.12 tok/s
Prefill
1.03 s
TTFT
15.2 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA RTX 3090 · 24GB · Strata
其他
28 天前
133.25 tok/s
Decode
628.12 tok/s
Prefill
1.73 s
TTFT
13.02 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
AMD Radeon RX 7900 XTX · 24GB · vLLM
其他
28 天前
70.36 tok/s
Decode
357.32 tok/s
Prefill
2.33 s
TTFT
17.72 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
AMD Radeon RX 7900 XTX · 24GB · Ollama
其他
28 天前
86.72 tok/s
Decode
439.93 tok/s
Prefill
1.71 s
TTFT
13.19 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA RTX 5090 · 32GB · llama.cpp
其他
28 天前
381.92 tok/s
Decode
1,480.95 tok/s
Prefill
0.75 s
TTFT
9.16 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA RTX 5090 · 32GB · vLLM
其他
28 天前
337.39 tok/s
Decode
1,195.07 tok/s
Prefill
0.67 s
TTFT
13.02 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA RTX 5080 · 16GB · llama.cpp
其他
28 天前
176.14 tok/s
Decode
941.33 tok/s
Prefill
0.6 s
TTFT
15.2 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA RTX 4080 Super · 16GB · vLLM
其他
28 天前
194.23 tok/s
Decode
865.43 tok/s
Prefill
0.52 s
TTFT
12.52 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA RTX 4080 Super · 16GB · Ollama
其他
28 天前
155.17 tok/s
Decode
518.65 tok/s
Prefill
1.93 s
TTFT
13.02 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
AMD Ryzen AI Max+ 395 · 128GB · llama.cpp
其他
28 天前
42.14 tok/s
Decode
173.71 tok/s
Prefill
2.26 s
TTFT
11.34 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
AMD Ryzen AI Max+ 395 · 128GB · Ollama
其他
28 天前
32.47 tok/s
Decode
141.58 tok/s
Prefill
1.39 s
TTFT
14.2 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
Apple M5 Max · 128GB · llama.cpp
其他
28 天前
75.66 tok/s
Decode
303.23 tok/s
Prefill
2.22 s
TTFT
14.53 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
Apple M5 Max · 128GB · Ollama
其他
28 天前
67.21 tok/s
Decode
271.49 tok/s
Prefill
1.92 s
TTFT
14.53 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
Apple M5 Ultra · 512GB · llama.cpp
其他
28 天前
84.63 tok/s
Decode
432.9 tok/s
Prefill
0.78 s
TTFT
17.72 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
Apple M5 Ultra · 512GB · Ollama
其他
28 天前
125.07 tok/s
Decode
471.87 tok/s
Prefill
0.18 s
TTFT
13.02 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA H100 80GB HBM3 · 80GB · llama.cpp
其他
28 天前
271.67 tok/s
Decode
1,471.82 tok/s
Prefill
0.64 s
TTFT
21.42 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA H100 80GB HBM3 · 80GB · vLLM
其他
28 天前
321.73 tok/s
Decode
1,464.84 tok/s
Prefill
1.23 s
TTFT
13.52 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
NVIDIA H20 · 97GB · vLLM
其他
28 天前
49.64 tok/s
Decode
220.24 tok/s
Prefill
1.95 s
TTFT
17.22 GB
VRAM
来源:其他 · 1 次实测 · 1 个独立来源
共 30 条结果