NVIDIA RTX PRO 6000 Blackwell

GPU

Blackwell 架构;96GB 显存,带宽 1792 GB/s,TDP 600W,CUDA 核心 24,064。发布日期:2025-03-18。来源:LCZ 硬件知识库,缺项经 NVIDIA 官方资料补充。

11

运行记录

4

覆盖模型

4

覆盖框架

L0 自报 × 11

证据分布

典型性能表现

同硬件上各模型 × 框架 × 量化的已上架实测均值。

  1. vLLM · FP16 Decode 26.1 · Prefill 195.8 ·
  2. vLLM · Q8_0 Decode 52.2 · Prefill 391.5 ·
  3. vLLM · Q5_K_M Decode 76.2 · Prefill 571.5 ·
  4. llama.cpp · FP16 Decode 24 · Prefill 180 ·
  5. llama.cpp · Q8_0 Decode 47.9 · Prefill 359.3 ·
  6. llama.cpp · Q5_K_M Decode 69.9 · Prefill 524.3 ·
  7. vLLM · IQ3_S Decode 31.9 · Prefill 239.3 ·
  8. vLLM · IQ2_XS Decode 38.3 · Prefill 287.3 ·
  9. vLLM · IQ3_S Decode 5 · Prefill 37.5 ·
  10. SGLang · NVFP4 Decode 171.1 · Prefill 10877.7 ·
  11. Diffusers · BF16 Decode — · Prefill — ·

Fit 判定

按显存与内存带宽做物理估算:选择模型,查看各量化能否装下及预计速度

估算公式:tok/s =(带宽 ÷ 模型占用)× 0.55,借鉴 llmfit;实测以运行记录为准

核心规格

厂商
NVIDIA
架构
Blackwell
显存
96 GB
显存带宽
1792 GB/s
TDP 功耗
600 W
发布日期
2025-03-18

运行记录

共 11 组配置

模型框架量化Decode生成耗时样本数
Qwen3.8-27BvLLMFP1626.1 tok/s—1
Qwen3.8-27BvLLMQ8_052.2 tok/s—1
Qwen3.8-27BvLLMQ5_K_M76.2 tok/s—1
Qwen3.8-27Bllama.cppFP1624 tok/s—1
Qwen3.8-27Bllama.cppQ8_047.9 tok/s—1
Qwen3.8-27Bllama.cppQ5_K_M69.9 tok/s—1
Laguna-S-2.1vLLMIQ3_S31.9 tok/s—1
Laguna-S-2.1vLLMIQ2_XS38.3 tok/s—1
GLM-5.3vLLMIQ3_S5 tok/s—1
Qwen3.8-27BSGLangNVFP4171.1 tok/s—1
MiniMax-H3DiffusersBF16—317 s1