gpt-oss 120B — Jalapeño 与 MI300X
对比 Jalapeño（OpenAI Jalapeño）与 MI300X（AMD CDNA 3）在 gpt-oss 120B 上的 AI 推理基准测试结果，涵盖不同 LLM 工作负载下的延迟、吞吐量和成本。可通过下方图表控件切换序列长度、精度和指标，操作方式与主推理图表相同。
以 134 tok/s/user 为目标运行 gpt-oss 120B 时，Jalapeño 的吞吐量为 57705 tok/s/chip，每百万 token 成本为 $0.01；MI300X 的吞吐量为 3573 tok/s/chip，每百万 token 成本为 $0.07。Jalapeño 的成本效率高出 1108%；Jalapeño 的单芯片吞吐量高出 1515%。
172 tok/s/user 位于 98–246 tok/s/user 交互性区间的中段。在这一运行点，Jalapeño 运行 gpt-oss 120B 的吞吐量为 55160 tok/s/chip，每百万 token 成本为 $0.01；MI300X 的吞吐量为 1871 tok/s/chip，每百万 token 成本为 $0.14。Jalapeño 的成本效率高出 2106%；Jalapeño 的单芯片吞吐量高出 2849%。
将 gpt-oss 120B 的目标交互性设为 209 tok/s/user 时，Jalapeño 的吞吐量为 52292 tok/s/chip，每百万 token 成本为 $0.01；MI300X 的吞吐量为 898 tok/s/chip，每百万 token 成本为 $0.29。Jalapeño 的成本效率高出 4257%；Jalapeño 的单芯片吞吐量高出 5724%。 （以上数据基于此 URL 对应的默认 8k/1k · fp4 配置；在控件中切换序列长度、精度或模型后，下方表格和图表会同步更新。）
| 指标 | 交互性（tok/s/user） | 交互性（tok/s/user） | 交互性（tok/s/user） |
|---|---|---|---|
| 吞吐量（tok/s/chip） | Jalapeño:57705.5MI300X:3572.6 | Jalapeño:55160.2MI300X:1870.6 | Jalapeño:52291.8MI300X:897.9 |
| 成本（$/M tok） | Jalapeño:$0.006MI300X:$0.074 | Jalapeño:$0.006MI300X:$0.141 | Jalapeño:$0.007MI300X:$0.294 |
| tok/s/MW | Jalapeño:51293776MI300X:2570199 | Jalapeño:49031314MI300X:1345770 | Jalapeño:46481589MI300X:645949 |
| 并发数 | Jalapeño:~1366MI300X:~6 | Jalapeño:~863MI300X:~7 | Jalapeño:~622MI300X:~4 |