DeepSeek R1 — GB200 NVL72 vs GB300 NVL72
GB200 NVL72（NVIDIA Blackwell）与 GB300 NVL72（NVIDIA Blackwell）在 DeepSeek R1 上的正面 AI 推理基准测试对比。涵盖各类 LLM 工作负载的延迟、吞吐量与成本。使用下方图表控件切换序列、精度和指标——交互方式与主推理图表相同。
以 85 tok/s/user 为目标在 DeepSeek R1 上运行时，GB200 NVL72 产出 8302 tok/s/Chip（每百万 token $0.06），GB300 NVL72 产出 10422（$0.06）。GB300 NVL72 每 token 成本低 1%；GB300 NVL72 每 Chip 吞吐量高出 26%。
在 DeepSeek R1 上以 152 tok/s/user 交互性运行时，GB200 NVL72 吞吐量为 1787 tok/s/Chip，每百万 token 成本 $0.29；GB300 NVL72 吞吐量为 2644 tok/s/Chip，成本 $0.24。GB300 NVL72 每 token 成本低 19%；GB300 NVL72 每 Chip 吞吐量高出 48%。
GB200 NVL72 在 DeepSeek R1 上以 219 tok/s/user 运行时达到 291 tok/s/Chip（每百万 token $1.78）；GB300 NVL72 达到 282 tok/s/Chip（$2.28）。GB200 NVL72 每 token 成本低 28%；GB200 NVL72 每 Chip 吞吐量高出 3%。 （数据反映此 URL 的默认 1k/1k · fp4 选择——如果您在控件中更改序列、精度或模型，下方表格和图表会自动更新。）
| Metric | Interactivity (tok/s/user) | Interactivity (tok/s/user) | Interactivity (tok/s/user) |
|---|---|---|---|
| Throughput (tok/s/chip) | GB200 NVL72:8301.6GB300 NVL72:10421.6 | GB200 NVL72:1787.1GB300 NVL72:2644.5 | GB200 NVL72:290.7GB300 NVL72:281.6 |
| Cost ($/M tok) | GB200 NVL72:$0.062GB300 NVL72:$0.062 | GB200 NVL72:$0.289GB300 NVL72:$0.243 | GB200 NVL72:$1.777GB300 NVL72:$2.279 |
| tok/s/MW | GB200 NVL72:4439344GB300 NVL72:4915847 | GB200 NVL72:955687GB300 NVL72:1247391 | GB200 NVL72:155441GB300 NVL72:132831 |
| Concurrency | GB200 NVL72:~2512GB300 NVL72:~1780 | GB200 NVL72:~325GB300 NVL72:~406 | GB200 NVL72:~27GB300 NVL72:~24 |
推理性能
不同模型、硬件配置和服务参数下的推理性能指标。