NVIDIA RTX PRO 5000 Blackwell

GPU

Blackwell 架构;48GB 显存,带宽 1344 GB/s,TDP 300W,CUDA 核心 14,080。发布日期:2025-03-18。来源:LCZ 硬件知识库,缺项经 NVIDIA 官方资料补充。

9

运行记录

3

覆盖模型

2

覆盖框架

L0 自报 × 9

证据分布

典型性能表现

同硬件上各模型 × 框架 × 量化的已上架实测均值。

  1. SGLang · IQ2_XS Decode 4.3 · Prefill 32.3 ·
  2. SGLang · IQ3_S Decode 3.6 · Prefill 27 ·
  3. vLLM · IQ2_XS Decode 4.5 · Prefill 33.8 ·
  4. vLLM · IQ3_S Decode 3.7 · Prefill 27.8 ·
  5. SGLang · IQ2_XS Decode 4.3 · Prefill 32.3 ·
  6. SGLang · IQ3_S Decode 3.6 · Prefill 27 ·
  7. vLLM · IQ2_XS Decode 4.4 · Prefill 33 ·
  8. vLLM · IQ3_S Decode 3.7 · Prefill 27.8 ·
  9. SGLang · FP8 Decode 31.5 · Prefill 5089 ·

Fit 判定

按显存与内存带宽做物理估算:选择模型,查看各量化能否装下及预计速度

估算公式:tok/s =(带宽 ÷ 模型占用)× 0.55,借鉴 llmfit;实测以运行记录为准

核心规格

厂商
NVIDIA
架构
Blackwell
显存
48 GB
显存带宽
1344 GB/s
TDP 功耗
300 W
发布日期
2025-03-18

运行记录

共 9 组配置

模型框架量化Decode生成耗时样本数
GLM-5.3SGLangIQ2_XS4.3 tok/s—1
GLM-5.3SGLangIQ3_S3.6 tok/s—1
GLM-5.3vLLMIQ2_XS4.5 tok/s—1
GLM-5.3vLLMIQ3_S3.7 tok/s—1
DeepSeek-V4.1-FlashSGLangIQ2_XS4.3 tok/s—1
DeepSeek-V4.1-FlashSGLangIQ3_S3.6 tok/s—1
DeepSeek-V4.1-FlashvLLMIQ2_XS4.4 tok/s—1
DeepSeek-V4.1-FlashvLLMIQ3_S3.7 tok/s—1
Qwen3.8-27BSGLangFP831.5 tok/s—1