GLM 5/5.1 · GPU 对比
GLM 5/5.1 — GB300 NVL72 vs H200
GB300 NVL72（NVIDIA Blackwell）与 H200（NVIDIA Hopper）在 GLM 5/5.1 上的正面 AI 推理基准测试对比。涵盖各类 LLM 工作负载的延迟、吞吐量与成本。使用下方图表控件切换序列、精度和指标——交互方式与主推理图表相同。
在 21–67 tok/s/user 交互性区间的低端，即 GLM 5/5.1 上以 33 tok/s/user 运行时：GB300 NVL72 达到 3417 tok/s/GPU（$0.28/百万 token），H200 达到 396（$0.99/百万）。GB300 NVL72 每 token 成本低 257%；GB300 NVL72 每 GPU 吞吐量高出 763%。
以 44 tok/s/user 为目标在 GLM 5/5.1 上运行时，GB300 NVL72 产出 252 tok/s/GPU（每百万 token $2.88），H200 产出 306（$1.28）。H200 每 token 成本低 126%；H200 每 GPU 吞吐量高出 21%。
在 GLM 5/5.1 上以 56 tok/s/user 交互性运行时，GB300 NVL72 吞吐量为 83 tok/s/GPU，每百万 token 成本 $8.90；H200 吞吐量为 237 tok/s/GPU，成本 $1.65。H200 每 token 成本低 441%；H200 每 GPU 吞吐量高出 186%。 （数据反映此 URL 的默认 1k/1k · fp8 选择——如果您在控件中更改序列、精度或模型，下方表格和图表会自动更新。）
Interpolated from real benchmark data. Edit target interactivity values below to compare at different operating points.
| Metric | Interactivity (tok/s/user) | Interactivity (tok/s/user) | Interactivity (tok/s/user) |
|---|---|---|---|
| Throughput (tok/s/gpu) | GB300 NVL72:3416.6H200:395.7 | GB300 NVL72:252.1H200:306.0 | GB300 NVL72:83.0H200:237.4 |
| Cost ($/M tok) | GB300 NVL72:$0.277H200:$0.990 | GB300 NVL72:$2.880H200:$1.277 | GB300 NVL72:$8.903H200:$1.646 |
| tok/s/MW | GB300 NVL72:1626935H200:228711 | GB300 NVL72:120062H200:176875 | GB300 NVL72:39507H200:137204 |
| Concurrency | GB300 NVL72:~4993H200:~64 | GB300 NVL72:~229H200:~28 | GB300 NVL72:~61H200:~18 |
推理性能
不同模型、硬件配置和服务参数下的推理性能指标。
厂商:
聚合模式:
投机解码: