搜索实测数据

试试这些搜索

找到 30 个运行配置组合

计数为运行配置组合(模型 + 硬件 + 框架 + 量化的聚合),同一组合的多次实测已合并;原始次数见各结果的来源行。

模型Ministral-3-8B-Instruct-2512

Ministral-3-8B-Instruct-2512 · Q3_K_S

L2 跨框架验证

NVIDIA RTX 4090 · 24GB · Ollama

其他

28 天前

142.08 tok/s

Decode

478.74 tok/s

Prefill

0.52 s

TTFT

13.02 GB

VRAM

配置(最近一次实测)
Windows 11 24H2 CUDA 12.8 Q3_K_S Ollama v0.42 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Ministral-3-8B-Instruct-2512 · IQ2_M

L2 跨框架验证

NVIDIA RTX 4090 · 24GB · Strata

其他

28 天前

230.86 tok/s

Decode

912.94 tok/s

Prefill

2.17 s

TTFT

10.84 GB

VRAM

配置(最近一次实测)
Windows 11 24H2 CUDA 12.8 IQ2_M Strata v0.38 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Ministral-3-8B-Instruct-2512 · Q4_K_S

L2 跨框架验证

NVIDIA RTX 3090 · 24GB · vLLM

其他

28 天前

94.16 tok/s

Decode

413.12 tok/s

Prefill

1.03 s

TTFT

15.2 GB

VRAM

配置(最近一次实测)
Windows 11 24H2 CUDA 12.4 Q4_K_S vLLM v0.34 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Ministral-3-8B-Instruct-2512 · Q3_K_S

L2 跨框架验证

NVIDIA RTX 3090 · 24GB · Strata

其他

28 天前

133.25 tok/s

Decode

628.12 tok/s

Prefill

1.73 s

TTFT

13.02 GB

VRAM

配置(最近一次实测)
Ubuntu 24.04 CUDA 12.8 Q3_K_S Strata v0.30 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Ministral-3-8B-Instruct-2512 · Q5_K_M

L2 跨框架验证

AMD Radeon RX 7900 XTX · 24GB · vLLM

其他

28 天前

70.36 tok/s

Decode

357.32 tok/s

Prefill

2.33 s

TTFT

17.72 GB

VRAM

配置(最近一次实测)
Ubuntu 22.04 CUDA 12.4 Q5_K_M vLLM v0.48 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Ministral-3-8B-Instruct-2512 · IQ3_S

L2 跨框架验证

AMD Radeon RX 7900 XTX · 24GB · Ollama

其他

28 天前

86.72 tok/s

Decode

439.93 tok/s

Prefill

1.71 s

TTFT

13.19 GB

VRAM

配置(最近一次实测)
Ubuntu 24.04 CUDA 12.4 IQ3_S Ollama v0.31 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Ministral-3-8B-Instruct-2512 · IQ1_S

L2 跨框架验证

NVIDIA RTX 5090 · 32GB · llama.cpp

其他

28 天前

381.92 tok/s

Decode

1,480.95 tok/s

Prefill

0.75 s

TTFT

9.16 GB

VRAM

配置(最近一次实测)
Ubuntu 24.04 CUDA 12.6 IQ1_S llama.cpp v0.37 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Ministral-3-8B-Instruct-2512 · Q3_K_S

L2 跨框架验证

NVIDIA RTX 5090 · 32GB · vLLM

其他

28 天前

337.39 tok/s

Decode

1,195.07 tok/s

Prefill

0.67 s

TTFT

13.02 GB

VRAM

配置(最近一次实测)
Ubuntu 22.04 CUDA 12.6 Q3_K_S vLLM v0.41

来源:其他 · 1 次实测 · 1 个独立来源

Ministral-3-8B-Instruct-2512 · Q4_K_S

L2 跨框架验证

NVIDIA RTX 5080 · 16GB · llama.cpp

其他

28 天前

176.14 tok/s

Decode

941.33 tok/s

Prefill

0.6 s

TTFT

15.2 GB

VRAM

配置(最近一次实测)
Windows 11 24H2 CUDA 12.8 Q4_K_S llama.cpp v0.31 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Ministral-3-8B-Instruct-2512 · IQ3_XS

L2 跨框架验证

NVIDIA RTX 4080 Super · 16GB · vLLM

其他

28 天前

194.23 tok/s

Decode

865.43 tok/s

Prefill

0.52 s

TTFT

12.52 GB

VRAM

配置(最近一次实测)
Ubuntu 22.04 CUDA 12.8 IQ3_XS vLLM v0.39

来源:其他 · 1 次实测 · 1 个独立来源

Ministral-3-8B-Instruct-2512 · Q3_K_S

L2 跨框架验证

NVIDIA RTX 4080 Super · 16GB · Ollama

其他

28 天前

155.17 tok/s

Decode

518.65 tok/s

Prefill

1.93 s

TTFT

13.02 GB

VRAM

配置(最近一次实测)
Windows 11 23H2 CUDA 12.8 Q3_K_S Ollama v0.21

来源:其他 · 1 次实测 · 1 个独立来源

Ministral-3-8B-Instruct-2512 · Q2_K

L2 跨框架验证

AMD Ryzen AI Max+ 395 · 128GB · llama.cpp

其他

28 天前

42.14 tok/s

Decode

173.71 tok/s

Prefill

2.26 s

TTFT

11.34 GB

VRAM

配置(最近一次实测)
Ubuntu 22.04 CUDA 12.8 Q2_K llama.cpp v0.27

来源:其他 · 1 次实测 · 1 个独立来源

Ministral-3-8B-Instruct-2512 · Q3_K_L

L2 跨框架验证

AMD Ryzen AI Max+ 395 · 128GB · Ollama

其他

28 天前

32.47 tok/s

Decode

141.58 tok/s

Prefill

1.39 s

TTFT

14.2 GB

VRAM

配置(最近一次实测)
Windows 11 23H2 CUDA 12.4 Q3_K_L Ollama v0.37 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Ministral-3-8B-Instruct-2512 · IQ4_XS

L2 跨框架验证

Apple M5 Max · 128GB · llama.cpp

其他

28 天前

75.66 tok/s

Decode

303.23 tok/s

Prefill

2.22 s

TTFT

14.53 GB

VRAM

配置(最近一次实测)
macOS 26.1 IQ4_XS llama.cpp v0.27 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Ministral-3-8B-Instruct-2512 · IQ4_XS

L2 跨框架验证

Apple M5 Max · 128GB · Ollama

其他

28 天前

67.21 tok/s

Decode

271.49 tok/s

Prefill

1.92 s

TTFT

14.53 GB

VRAM

配置(最近一次实测)
macOS 26.1 IQ4_XS Ollama v0.23 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Ministral-3-8B-Instruct-2512 · Q5_K_M

L2 跨框架验证

Apple M5 Ultra · 512GB · llama.cpp

其他

28 天前

84.63 tok/s

Decode

432.9 tok/s

Prefill

0.78 s

TTFT

17.72 GB

VRAM

配置(最近一次实测)
macOS 26.1 Q5_K_M llama.cpp v0.21 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Ministral-3-8B-Instruct-2512 · Q3_K_S

L2 跨框架验证

Apple M5 Ultra · 512GB · Ollama

其他

28 天前

125.07 tok/s

Decode

471.87 tok/s

Prefill

0.18 s

TTFT

13.02 GB

VRAM

配置(最近一次实测)
macOS 26.1 Q3_K_S Ollama v0.31

来源:其他 · 1 次实测 · 1 个独立来源

Ministral-3-8B-Instruct-2512 · Q8_0

L2 跨框架验证

NVIDIA H100 80GB HBM3 · 80GB · llama.cpp

其他

28 天前

271.67 tok/s

Decode

1,471.82 tok/s

Prefill

0.64 s

TTFT

21.42 GB

VRAM

配置(最近一次实测)
Ubuntu 24.04 CUDA 13.0 Q8_0 llama.cpp v0.37 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Ministral-3-8B-Instruct-2512 · Q3_K_M

L2 跨框架验证

NVIDIA H100 80GB HBM3 · 80GB · vLLM

其他

28 天前

321.73 tok/s

Decode

1,464.84 tok/s

Prefill

1.23 s

TTFT

13.52 GB

VRAM

配置(最近一次实测)
Ubuntu 22.04 CUDA 12.8 Q3_K_M vLLM v0.29 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Ministral-3-8B-Instruct-2512 · Q5_K_S

L2 跨框架验证

NVIDIA H20 · 97GB · vLLM

其他

28 天前

49.64 tok/s

Decode

220.24 tok/s

Prefill

1.95 s

TTFT

17.22 GB

VRAM

配置(最近一次实测)
Ubuntu 24.04 CUDA 12.4 Q5_K_S vLLM v0.53 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

共 30 条结果

相关模型
相关硬件
相关框架
相关量化