NVIDIA RTX PRO 6000 Blackwell
GPUBlackwell 架构;96GB 显存,带宽 1792 GB/s,TDP 600W,CUDA 核心 24,064。发布日期:2025-03-18。来源:LCZ 硬件知识库,缺项经 NVIDIA 官方资料补充。
11
运行记录
4
覆盖模型
4
覆盖框架
L0 自报 × 11
证据分布
典型性能表现
同硬件上各模型 × 框架 × 量化的已上架实测均值。
- vLLM · FP16 Decode 26.1 · Prefill 195.8 ·
- vLLM · Q8_0 Decode 52.2 · Prefill 391.5 ·
- vLLM · Q5_K_M Decode 76.2 · Prefill 571.5 ·
- llama.cpp · FP16 Decode 24 · Prefill 180 ·
- llama.cpp · Q8_0 Decode 47.9 · Prefill 359.3 ·
- llama.cpp · Q5_K_M Decode 69.9 · Prefill 524.3 ·
- vLLM · IQ3_S Decode 31.9 · Prefill 239.3 ·
- vLLM · IQ2_XS Decode 38.3 · Prefill 287.3 ·
- vLLM · IQ3_S Decode 5 · Prefill 37.5 ·
- SGLang · NVFP4 Decode 171.1 · Prefill 10877.7 ·
- Diffusers · BF16 Decode — · Prefill — ·
Fit 判定
按显存与内存带宽做物理估算:选择模型,查看各量化能否装下及预计速度
估算公式:tok/s =(带宽 ÷ 模型占用)× 0.55,借鉴 llmfit;实测以运行记录为准
核心规格
- 厂商
- NVIDIA
- 架构
- Blackwell
- 显存
- 96 GB
- 显存带宽
- 1792 GB/s
- TDP 功耗
- 600 W
- 发布日期
- 2025-03-18
运行记录
共 11 组配置
| 模型 | 框架 | 量化 | Decode | 生成耗时 | 样本数 |
|---|---|---|---|---|---|
| Qwen3.8-27B | vLLM | FP16 | 26.1 tok/s | — | 1 |
| Qwen3.8-27B | vLLM | Q8_0 | 52.2 tok/s | — | 1 |
| Qwen3.8-27B | vLLM | Q5_K_M | 76.2 tok/s | — | 1 |
| Qwen3.8-27B | llama.cpp | FP16 | 24 tok/s | — | 1 |
| Qwen3.8-27B | llama.cpp | Q8_0 | 47.9 tok/s | — | 1 |
| Qwen3.8-27B | llama.cpp | Q5_K_M | 69.9 tok/s | — | 1 |
| Laguna-S-2.1 | vLLM | IQ3_S | 31.9 tok/s | — | 1 |
| Laguna-S-2.1 | vLLM | IQ2_XS | 38.3 tok/s | — | 1 |
| GLM-5.3 | vLLM | IQ3_S | 5 tok/s | — | 1 |
| Qwen3.8-27B | SGLang | NVFP4 | 171.1 tok/s | — | 1 |
| MiniMax-H3 | Diffusers | BF16 | — | 317 s | 1 |