搜索实测数据

试试这些搜索

找到 6 个运行配置组合

计数为运行配置组合（模型 + 硬件 + 框架 + 量化的聚合），同一组合的多次实测已合并；原始次数见各结果的来源行。

模型Llama 5 405B

Llama 5 405B · IQ3_S

L0 自报

NVIDIA RTX PRO 6000 Blackwell · 96GB · vLLM

其他

今天

9.3 tok/s

Decode

69.8 tok/s

Prefill

1.43 s

TTFT

96 GB

VRAM

配置（最近一次实测）

Linux CUDA 12.6 IQ3_S vLLM 0.7.3 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

对比查看详情

Llama 5 405B · IQ2_XS

L0 自报

2x NVIDIA RTX 5090 · 64GB · vLLM

其他

今天

— tok/s

Decode

— tok/s

Prefill

— s

TTFT

64 GB

VRAM

配置（最近一次实测）

Linux CUDA 12.6 IQ2_XS vLLM 0.7.3 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

对比查看详情

Llama 5 405B · IQ2_XXS

L0 自报

NVIDIA RTX 5070 SUPER · 18GB · Strata

其他

今天

7.8 tok/s

Decode

58.5 tok/s

Prefill

1.71 s

TTFT

18 GB

VRAM

配置（最近一次实测）

Linux CUDA 12.6 IQ2_XXS Strata 0.5.2 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

对比查看详情

Llama 5 405B · IQ2_XS

L0 自报

NVIDIA RTX 5080 SUPER · 24GB · llama.cpp

其他

今天

6.4 tok/s

Decode

48 tok/s

Prefill

2.08 s

TTFT

24 GB

VRAM

配置（最近一次实测）

Linux CUDA 12.6 IQ2_XS llama.cpp b4200 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

对比查看详情

Llama 5 405B · IQ2_XS

L0 自报

NVIDIA RTX 5090 · 32GB · vLLM

其他

今天

11.1 tok/s

Decode

83.3 tok/s

Prefill

1.2 s

TTFT

32 GB

VRAM

配置（最近一次实测）

Linux CUDA 12.6 IQ2_XS vLLM 0.7.3 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

对比查看详情

Llama 5 405B · IQ2_XXS

L0 自报

NVIDIA RTX 4090 · 24GB · llama.cpp

其他

今天

6.8 tok/s

Decode

51 tok/s

Prefill

1.96 s

TTFT

24 GB

VRAM

配置（最近一次实测）

Linux CUDA 12.6 IQ2_XXS llama.cpp b4200 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

对比查看详情

共 6 条结果