DeepSeek R1 — GB200 NVL72 vs GB300 NVL72
GB200 NVL72（NVIDIA Blackwell）与 GB300 NVL72（NVIDIA Blackwell）在 DeepSeek R1 上的正面 AI 推理基准测试对比。涵盖各类 LLM 工作负载的延迟、吞吐量与成本。使用下方图表控件切换序列、精度和指标——交互方式与主推理图表相同。
以 85 tok/s/user 为目标在 DeepSeek R1 上运行时，GB200 NVL72 产出 7753 tok/s/GPU（每百万 token $0.08），GB300 NVL72 产出 10422（$0.07）。GB300 NVL72 每 token 成本低 13%；GB300 NVL72 每 GPU 吞吐量高出 34%。
在 DeepSeek R1 上以 152 tok/s/user 交互性运行时，GB200 NVL72 吞吐量为 1361 tok/s/GPU，每百万 token 成本 $0.45；GB300 NVL72 吞吐量为 2644 tok/s/GPU，成本 $0.28。GB300 NVL72 每 token 成本低 61%；GB300 NVL72 每 GPU 吞吐量高出 94%。
GB200 NVL72 在 DeepSeek R1 上以 219 tok/s/user 运行时达到 291 tok/s/GPU（每百万 token $2.11）；GB300 NVL72 达到 282 tok/s/GPU（$2.62）。GB200 NVL72 每 token 成本低 24%；GB200 NVL72 每 GPU 吞吐量高出 3%。 （数据反映此 URL 的默认 1k/1k · fp4 选择——如果您在控件中更改序列、精度或模型，下方表格和图表会自动更新。）
| Metric | Interactivity (tok/s/user) | Interactivity (tok/s/user) | Interactivity (tok/s/user) |
|---|---|---|---|
| Throughput (tok/s/gpu) | GB200 NVL72:7753.2GB300 NVL72:10421.6 | GB200 NVL72:1360.9GB300 NVL72:2644.5 | GB200 NVL72:290.7GB300 NVL72:281.6 |
| Cost ($/M tok) | GB200 NVL72:$0.079GB300 NVL72:$0.070 | GB200 NVL72:$0.447GB300 NVL72:$0.277 | GB200 NVL72:$2.110GB300 NVL72:$2.617 |
| tok/s/MW | GB200 NVL72:3691993GB300 NVL72:4962665 | GB200 NVL72:648067GB300 NVL72:1259271 | GB200 NVL72:138416GB300 NVL72:134096 |
| Concurrency | GB200 NVL72:~2246GB300 NVL72:~1780 | GB200 NVL72:~226GB300 NVL72:~406 | GB200 NVL72:~27GB300 NVL72:~24 |
推理性能
不同模型、硬件配置和服务参数下的推理性能指标。