Arao AI

搜索实测数据

试试这些搜索

找到 8 个运行配置组合

计数为运行配置组合（模型 + 硬件 + 框架 + 量化的聚合），同一组合的多次实测已合并；原始次数见各结果的来源行。

模型Laguna-S-2.1

Laguna-S-2.1 · IQ3_S

L0 自报

NVIDIA RTX PRO 6000 Blackwell · 96GB · vLLM

其他

2026-10-06

31.9 tok/s

Decode

239.3 tok/s

Prefill

0.42 s

TTFT

48.3 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 IQ3_S vLLM 0.7.3 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Laguna-S-2.1 · IQ2_XS

L0 自报

NVIDIA RTX PRO 6000 Blackwell · 96GB · vLLM

其他

2026-10-06

38.3 tok/s

Decode

287.3 tok/s

Prefill

0.35 s

TTFT

40.3 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 IQ2_XS vLLM 0.7.3 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Laguna-S-2.1 · IQ3_S

L0 自报

2x NVIDIA RTX 5090 · 64GB · vLLM

其他

2026-10-06

— tok/s

Decode

— tok/s

Prefill

— s

TTFT

48.3 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 IQ3_S vLLM 0.7.3 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Laguna-S-2.1 · IQ2_XS

L0 自报

2x NVIDIA RTX 5090 · 64GB · vLLM

其他

2026-10-06

— tok/s

Decode

— tok/s

Prefill

— s

TTFT

40.3 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 IQ2_XS vLLM 0.7.3 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Laguna-S-2.1 · IQ3_S

L0 自报

NVIDIA RTX 5090 · 32GB · vLLM

其他

2026-10-06

31.9 tok/s

Decode

239.3 tok/s

Prefill

0.42 s

TTFT

32 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 IQ3_S vLLM 0.7.3 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Laguna-S-2.1 · IQ2_XS

L0 自报

NVIDIA RTX 5090 · 32GB · vLLM

其他

2026-10-06

38.3 tok/s

Decode

287.3 tok/s

Prefill

0.35 s

TTFT

32 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 IQ2_XS vLLM 0.7.3 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Laguna-S-2.1 · IQ3_S

L0 自报

NVIDIA RTX 4090 · 24GB · vLLM

其他

2026-10-06

17.9 tok/s

Decode

134.3 tok/s

Prefill

0.74 s

TTFT

24 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 IQ3_S vLLM 0.7.3 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Laguna-S-2.1 · IQ2_XS

L0 自报

NVIDIA RTX 4090 · 24GB · vLLM

其他

2026-10-06

21.5 tok/s

Decode

161.3 tok/s

Prefill

0.62 s

TTFT

24 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 IQ2_XS vLLM 0.7.3 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

共 8 条结果

相关模型
相关硬件
相关框架
相关量化