搜索实测数据

试试这些搜索

找到 3 个运行配置组合

计数为运行配置组合（模型 + 硬件 + 框架 + 量化的聚合），同一组合的多次实测已合并；原始次数见各结果的来源行。

模型Ministral-3-8B-Instruct-2512

Ministral-3-8B-Instruct-2512 · Q4_K_M

L0 自报

NVIDIA RTX 5060 SUPER · 12GB · llama.cpp

其他

今天

71.3 tok/s

Decode

534.8 tok/s

Prefill

0.19 s

TTFT

5.4 GB

VRAM

配置（最近一次实测）

Linux CUDA 12.6 Q4_K_M llama.cpp b4200 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

对比查看详情

Ministral-3-8B-Instruct-2512 · IQ4_XS

L0 自报

NVIDIA RTX 5070 · 12GB · Strata

其他

今天

156.3 tok/s

Decode

1,172.3 tok/s

Prefill

0.09 s

TTFT

4.8 GB

VRAM

配置（最近一次实测）

Linux CUDA 12.6 IQ4_XS Strata 0.5.2 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

对比查看详情

Ministral-3-8B-Instruct-2512 · Q4_K_M

L0 自报

NVIDIA RTX 3060 12GB · 12GB · llama.cpp

其他

今天

57.3 tok/s

Decode

429.8 tok/s

Prefill

0.23 s

TTFT

5.4 GB

VRAM

配置（最近一次实测）

Linux CUDA 12.6 Q4_K_M llama.cpp b4200 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

对比查看详情

共 3 条结果