gpt-oss 120B · 芯片对比

gpt-oss 120B — B200 与 H100

对比 B200(NVIDIA Blackwell)与 H100(NVIDIA Hopper)在 gpt-oss 120B 上的 AI 推理基准测试结果,涵盖不同 LLM 工作负载下的延迟、吞吐量和成本。可通过下方图表控件切换序列长度、精度和指标,操作方式与主推理图表相同。

当 gpt-oss 120B 的目标交互性为 90 tok/s/user 时,B200 与 H100 的吞吐量分别为 36,090 和 6,362 tok/s/chip,每百万 token 成本分别为 $0.013 和 $0.051。B200 的每 token 成本低 74%;B200 的单芯片吞吐量为对方的 5.7 倍。

以 143 tok/s/user 为目标运行 gpt-oss 120B 时,B200 的吞吐量为 24,876 tok/s/chip,每百万 token 成本为 $0.019;H100 的吞吐量为 4,148 tok/s/chip,每百万 token 成本为 $0.078。B200 的每 token 成本低 75%;B200 的单芯片吞吐量为对方的 6.0 倍。

197 tok/s/user 接近 37–250 tok/s/user 交互性区间的上限。在这一运行点,B200 运行 gpt-oss 120B 的吞吐量为 17,465 tok/s/chip,每百万 token 成本为 $0.028;H100 的吞吐量为 2,636 tok/s/chip,每百万 token 成本为 $0.12。B200 的每 token 成本低 78%;B200 的单芯片吞吐量为对方的 6.6 倍。 (以上数据基于此 URL 对应的默认 8k/1k · fp4 配置;在控件中切换序列长度、精度或模型后,下方表格和图表会同步更新。)

查看每美元性能对比 →

B200 vs H100:完整规格与各模型基准测试 →

数据由真实基准测试结果插值得出。调整下方的目标交互性数值,即可比较不同运行点。

指标
交互性(tok/s/user)
交互性(tok/s/user)
交互性(tok/s/user)
吞吐量(tok/s/chip)
B20036,090H1006,362
B20024,876H1004,148
B20017,465H1002,636
成本($/M tok)
B200$0.013H100$0.051
B200$0.019H100$0.078
B200$0.028H100$0.12
tok/s/MW
B20021,105,097H1004,643,748
B20014,547,213H1003,027,501
B20010,213,266H1001,924,056
并发数
B200~42H100~32
B200~32H100~13
B200~17H100~6