Qwen 3.5 397B-A17B — GB300 NVL72 vs RTX PRO 6000
GB300 NVL72（NVIDIA Blackwell）与 RTX PRO 6000（NVIDIA Blackwell）在 Qwen 3.5 397B-A17B 上的正面 AI 推理基准测试对比。涵盖各类 LLM 工作负载的延迟、吞吐量与成本。使用下方图表控件切换序列、精度和指标——交互方式与主推理图表相同。
GB300 NVL72 / RTX PRO 6000 在 Qwen 3.5 397B-A17B 上以 61 tok/s/user 运行：23235 / 931 tok/s/Chip，$0.03 / $0.19 每百万 token。GB300 NVL72 每 token 成本低 601%；GB300 NVL72 每 Chip 吞吐量高出 2395%。
在 31–153 tok/s/user 交互性区间的中部，即 Qwen 3.5 397B-A17B 上以 92 tok/s/user 运行时：GB300 NVL72 达到 21121 tok/s/Chip（$0.03/百万 token），RTX PRO 6000 达到 726（$0.26/百万）。GB300 NVL72 每 token 成本低 756%；GB300 NVL72 每 Chip 吞吐量高出 2808%。
以 123 tok/s/user 为目标在 Qwen 3.5 397B-A17B 上运行时，GB300 NVL72 产出 18398 tok/s/Chip（每百万 token $0.04），RTX PRO 6000 产出 505（$0.41）。GB300 NVL72 每 token 成本低 1072%；GB300 NVL72 每 Chip 吞吐量高出 3546%。 （数据反映此 URL 的默认 8k/1k · fp4 选择——如果您在控件中更改序列、精度或模型，下方表格和图表会自动更新。）
| Metric | Interactivity (tok/s/user) | Interactivity (tok/s/user) | Interactivity (tok/s/user) |
|---|---|---|---|
| Throughput (tok/s/chip) | GB300 NVL72:23235.2RTX PRO 6000:931.3 | GB300 NVL72:21120.7RTX PRO 6000:726.3 | GB300 NVL72:18397.7RTX PRO 6000:504.6 |
| Cost ($/M tok) | GB300 NVL72:$0.027RTX PRO 6000:$0.191 | GB300 NVL72:$0.030RTX PRO 6000:$0.260 | GB300 NVL72:$0.035RTX PRO 6000:$0.412 |
| tok/s/MW | GB300 NVL72:10960012RTX PRO 6000:955182 | GB300 NVL72:9962582RTX PRO 6000:744882 | GB300 NVL72:8678181RTX PRO 6000:517546 |
| Concurrency | GB300 NVL72:~1536RTX PRO 6000:~8 | GB300 NVL72:~1535RTX PRO 6000:~4 | GB300 NVL72:~1068RTX PRO 6000:~2 |
推理性能
不同模型、硬件配置和服务参数下的推理性能指标。