DeepSeek R1 — GB300 NVL72 与 Jalapeño
对比 GB300 NVL72（NVIDIA Blackwell）与 Jalapeño（OpenAI Jalapeño）在 DeepSeek R1 上的 AI 推理基准测试结果，涵盖不同 LLM 工作负载下的延迟、吞吐量和成本。可通过下方图表控件切换序列长度、精度和指标，操作方式与主推理图表相同。
127 tok/s/user 接近 66–312 tok/s/user 交互性区间的下限。在这一运行点，GB300 NVL72 运行 DeepSeek R1 的吞吐量为 9494 tok/s/chip，每百万 token 成本为 $0.07；Jalapeño 的吞吐量为 11045 tok/s/chip，每百万 token 成本为 $0.03。Jalapeño 的成本效率高出 112%；Jalapeño 的单芯片吞吐量高出 16%。
将 DeepSeek R1 的目标交互性设为 189 tok/s/user 时，GB300 NVL72 的吞吐量为 2102 tok/s/chip，每百万 token 成本为 $0.31；Jalapeño 的吞吐量为 7157 tok/s/chip，每百万 token 成本为 $0.05。Jalapeño 的成本效率高出 519%；Jalapeño 的单芯片吞吐量高出 240%。
当 DeepSeek R1 的目标交互性为 251 tok/s/user 时，GB300 NVL72 的吞吐量为 843 tok/s/chip，每百万 token 成本为 $0.76；Jalapeño 的吞吐量为 2234 tok/s/chip，每百万 token 成本为 $0.16。Jalapeño 的成本效率高出 382%；Jalapeño 的单芯片吞吐量高出 165%。 （以上数据基于此 URL 对应的默认 8k/1k · fp4 配置；在控件中切换序列长度、精度或模型后，下方表格和图表会同步更新。）
| 指标 | 交互性（tok/s/user） | 交互性（tok/s/user） | 交互性（tok/s/user） |
|---|---|---|---|
| 吞吐量（tok/s/chip） | GB300 NVL72:9494.0Jalapeño:11044.9 | GB300 NVL72:2102.5Jalapeño:7156.7 | GB300 NVL72:842.8Jalapeño:2234.5 |
| 成本（$/M tok） | GB300 NVL72:$0.068Jalapeño:$0.032 | GB300 NVL72:$0.305Jalapeño:$0.049 | GB300 NVL72:$0.761Jalapeño:$0.158 |
| tok/s/MW | GB300 NVL72:4478308Jalapeño:9817707 | GB300 NVL72:991741Jalapeño:6361474 | GB300 NVL72:397565Jalapeño:1986203 |
| 并发数 | GB300 NVL72:~433Jalapeño:~653 | GB300 NVL72:~50Jalapeño:~220 | GB300 NVL72:~17Jalapeño:~39 |