gpt-oss 120B — GB200 NVL72 与 Jalapeño
对比 GB200 NVL72（NVIDIA Blackwell）与 Jalapeño（OpenAI Jalapeño）在 gpt-oss 120B 上的 AI 推理基准测试结果，涵盖不同 LLM 工作负载下的延迟、吞吐量和成本。可通过下方图表控件切换序列长度、精度和指标，操作方式与主推理图表相同。
207 tok/s/user 接近 98–535 tok/s/user 交互性区间的下限。在这一运行点，GB200 NVL72 运行 gpt-oss 120B 的吞吐量为 25450 tok/s/chip，每百万 token 成本为 $0.02；Jalapeño 的吞吐量为 52465 tok/s/chip，每百万 token 成本为 $0.01。Jalapeño 的成本效率高出 202%；Jalapeño 的单芯片吞吐量高出 106%。
将 gpt-oss 120B 的目标交互性设为 316 tok/s/user 时，GB200 NVL72 的吞吐量为 9887 tok/s/chip，每百万 token 成本为 $0.05；Jalapeño 的吞吐量为 38883 tok/s/chip，每百万 token 成本为 $0.01。Jalapeño 的成本效率高出 476%；Jalapeño 的单芯片吞吐量高出 293%。
当 gpt-oss 120B 的目标交互性为 426 tok/s/user 时，GB200 NVL72 的吞吐量为 3511 tok/s/chip，每百万 token 成本为 $0.15；Jalapeño 的吞吐量为 20383 tok/s/chip，每百万 token 成本为 $0.02。Jalapeño 的成本效率高出 750%；Jalapeño 的单芯片吞吐量高出 481%。 （以上数据基于此 URL 对应的默认 8k/1k · fp4 配置；在控件中切换序列长度、精度或模型后，下方表格和图表会同步更新。）
| 指标 | 交互性（tok/s/user） | 交互性（tok/s/user） | 交互性（tok/s/user） |
|---|---|---|---|
| 吞吐量（tok/s/chip） | GB200 NVL72:25449.9Jalapeño:52464.6 | GB200 NVL72:9887.3Jalapeño:38882.7 | GB200 NVL72:3510.8Jalapeño:20383.4 |
| 成本（$/M tok） | GB200 NVL72:$0.020Jalapeño:$0.007 | GB200 NVL72:$0.052Jalapeño:$0.009 | GB200 NVL72:$0.147Jalapeño:$0.017 |
| tok/s/MW | GB200 NVL72:13609555Jalapeño:46635203 | GB200 NVL72:5287325Jalapeño:34562394 | GB200 NVL72:1877455Jalapeño:18118548 |
| 并发数 | GB200 NVL72:~85Jalapeño:~631 | GB200 NVL72:~19Jalapeño:~227 | GB200 NVL72:~5Jalapeño:~67 |