Kimi K2.5/K2.6/K2.7-Code 1T — B300 vs GB200 NVL72
B300（NVIDIA Blackwell）与 GB200 NVL72（NVIDIA Blackwell）在 Kimi K2.5/K2.6/K2.7-Code 1T 上的正面 AI 推理基准测试对比。涵盖各类 LLM 工作负载的延迟、吞吐量与成本。使用下方图表控件切换序列、精度和指标——交互方式与主推理图表相同。
在 Kimi K2.5/K2.6/K2.7-Code 1T 上以 62 tok/s/user 交互性运行时，B300 吞吐量为 2929 tok/s/Chip，每百万 token 成本 $0.21；GB200 NVL72 吞吐量为 9455 tok/s/Chip，成本 $0.05。GB200 NVL72 每 token 成本低 292%；GB200 NVL72 每 Chip 吞吐量高出 223%。
B300 在 Kimi K2.5/K2.6/K2.7-Code 1T 上以 99 tok/s/user 运行时达到 1731 tok/s/Chip（每百万 token $0.36）；GB200 NVL72 达到 1548 tok/s/Chip（$0.33）。GB200 NVL72 每 token 成本低 9%；B300 每 Chip 吞吐量高出 12%。
Kimi K2.5/K2.6/K2.7-Code 1T 在 136 tok/s/user 交互性下的吞吐量：B300 为 783 tok/s/Chip，GB200 NVL72 为 837。每百万 token 成本分别为 $0.80 和 $0.62。GB200 NVL72 每 token 成本低 30%；GB200 NVL72 每 Chip 吞吐量高出 7%。 （数据反映此 URL 的默认 8k/1k · fp4 选择——如果您在控件中更改序列、精度或模型，下方表格和图表会自动更新。）
| Metric | Interactivity (tok/s/user) | Interactivity (tok/s/user) | Interactivity (tok/s/user) |
|---|---|---|---|
| Throughput (tok/s/chip) | B300:2929.1GB200 NVL72:9454.9 | B300:1731.4GB200 NVL72:1548.2 | B300:783.1GB200 NVL72:836.8 |
| Cost ($/M tok) | B300:$0.214GB200 NVL72:$0.055 | B300:$0.363GB200 NVL72:$0.334 | B300:$0.802GB200 NVL72:$0.617 |
| tok/s/MW | B300:1541639GB200 NVL72:5056105 | B300:911253GB200 NVL72:827888 | B300:412168GB200 NVL72:447506 |
| Concurrency | B300:~21GB200 NVL72:~1229 | B300:~8GB200 NVL72:~256 | B300:~3GB200 NVL72:~28 |
推理性能
不同模型、硬件配置和服务参数下的推理性能指标。