NVIDIA RTX PRO 5000 Blackwell
GPUBlackwell 架构;48GB 显存,带宽 1344 GB/s,TDP 300W,CUDA 核心 14,080。发布日期:2025-03-18。来源:LCZ 硬件知识库,缺项经 NVIDIA 官方资料补充。
9
运行记录
3
覆盖模型
2
覆盖框架
L0 自报 × 9
证据分布
典型性能表现
同硬件上各模型 × 框架 × 量化的已上架实测均值。
- SGLang · IQ2_XS Decode 4.3 · Prefill 32.3 ·
- SGLang · IQ3_S Decode 3.6 · Prefill 27 ·
- vLLM · IQ2_XS Decode 4.5 · Prefill 33.8 ·
- vLLM · IQ3_S Decode 3.7 · Prefill 27.8 ·
- SGLang · IQ2_XS Decode 4.3 · Prefill 32.3 ·
- SGLang · IQ3_S Decode 3.6 · Prefill 27 ·
- vLLM · IQ2_XS Decode 4.4 · Prefill 33 ·
- vLLM · IQ3_S Decode 3.7 · Prefill 27.8 ·
- SGLang · FP8 Decode 31.5 · Prefill 5089 ·
Fit 判定
按显存与内存带宽做物理估算:选择模型,查看各量化能否装下及预计速度
估算公式:tok/s =(带宽 ÷ 模型占用)× 0.55,借鉴 llmfit;实测以运行记录为准
核心规格
- 厂商
- NVIDIA
- 架构
- Blackwell
- 显存
- 48 GB
- 显存带宽
- 1344 GB/s
- TDP 功耗
- 300 W
- 发布日期
- 2025-03-18
运行记录
共 9 组配置
| 模型 | 框架 | 量化 | Decode | 生成耗时 | 样本数 |
|---|---|---|---|---|---|
| GLM-5.3 | SGLang | IQ2_XS | 4.3 tok/s | — | 1 |
| GLM-5.3 | SGLang | IQ3_S | 3.6 tok/s | — | 1 |
| GLM-5.3 | vLLM | IQ2_XS | 4.5 tok/s | — | 1 |
| GLM-5.3 | vLLM | IQ3_S | 3.7 tok/s | — | 1 |
| DeepSeek-V4.1-Flash | SGLang | IQ2_XS | 4.3 tok/s | — | 1 |
| DeepSeek-V4.1-Flash | SGLang | IQ3_S | 3.6 tok/s | — | 1 |
| DeepSeek-V4.1-Flash | vLLM | IQ2_XS | 4.4 tok/s | — | 1 |
| DeepSeek-V4.1-Flash | vLLM | IQ3_S | 3.7 tok/s | — | 1 |
| Qwen3.8-27B | SGLang | FP8 | 31.5 tok/s | — | 1 |