Kimi K2.5/K2.6/K2.7-Code 1T — GB200 NVL72 与 Jalapeño
对比 GB200 NVL72（NVIDIA Blackwell）与 Jalapeño（OpenAI Jalapeño）在 Kimi K2.5/K2.6/K2.7-Code 1T 上的 AI 推理基准测试结果，涵盖不同 LLM 工作负载下的延迟、吞吐量和成本。可通过下方图表控件切换序列长度、精度和指标，操作方式与主推理图表相同。
90 tok/s/user 接近 61–180 tok/s/user 交互性区间的下限。在这一运行点，GB200 NVL72 运行 Kimi K2.5/K2.6/K2.7-Code 1T 的吞吐量为 1904 tok/s/chip，每百万 token 成本为 $0.27；Jalapeño 的吞吐量为 11469 tok/s/chip，每百万 token 成本为 $0.03。Jalapeño 的成本效率高出 782%；Jalapeño 的单芯片吞吐量高出 502%。
将 Kimi K2.5/K2.6/K2.7-Code 1T 的目标交互性设为 120 tok/s/user 时，GB200 NVL72 的吞吐量为 1285 tok/s/chip，每百万 token 成本为 $0.40；Jalapeño 的吞吐量为 9816 tok/s/chip，每百万 token 成本为 $0.04。Jalapeño 的成本效率高出 1018%；Jalapeño 的单芯片吞吐量高出 664%。
当 Kimi K2.5/K2.6/K2.7-Code 1T 的目标交互性为 150 tok/s/user 时，GB200 NVL72 的吞吐量为 558 tok/s/chip，每百万 token 成本为 $0.93；Jalapeño 的吞吐量为 7858 tok/s/chip，每百万 token 成本为 $0.04。Jalapeño 的成本效率高出 1963%；Jalapeño 的单芯片吞吐量高出 1309%。 （以上数据基于此 URL 对应的默认 8k/1k · fp4 配置；在控件中切换序列长度、精度或模型后，下方表格和图表会同步更新。）
| 指标 | 交互性（tok/s/user） | 交互性（tok/s/user） | 交互性（tok/s/user） |
|---|---|---|---|
| 吞吐量（tok/s/chip） | GB200 NVL72:1904.1Jalapeño:11468.9 | GB200 NVL72:1285.5Jalapeño:9815.7 | GB200 NVL72:557.8Jalapeño:7857.7 |
| 成本（$/M tok） | GB200 NVL72:$0.271Jalapeño:$0.031 | GB200 NVL72:$0.402Jalapeño:$0.036 | GB200 NVL72:$0.926Jalapeño:$0.045 |
| tok/s/MW | GB200 NVL72:1018217Jalapeño:10194612 | GB200 NVL72:687422Jalapeño:8725091 | GB200 NVL72:298299Jalapeño:6984582 |
| 并发数 | GB200 NVL72:~151Jalapeño:~1087 | GB200 NVL72:~39Jalapeño:~595 | GB200 NVL72:~23Jalapeño:~324 |