MiniMax M2.5/M2.7 — B300 vs GB200 NVL72
B300(NVIDIA Blackwell)与 GB200 NVL72(NVIDIA Blackwell)在 MiniMax M2.5/M2.7 上的正面 AI 推理基准测试对比。涵盖各类 LLM 工作负载的延迟、吞吐量与成本。使用下方图表控件切换序列、精度和指标——交互方式与主推理图表相同。
在 31–180 tok/s/user 交互性区间的低端,即 MiniMax M2.5/M2.7 上以 68 tok/s/user 运行时:B300 达到 7214 tok/s/GPU($0.09/百万 token),GB200 NVL72 达到 8433($0.07/百万)。GB200 NVL72 每 token 成本低 25%;GB200 NVL72 每 GPU 吞吐量高出 17%。
以 105 tok/s/user 为目标在 MiniMax M2.5/M2.7 上运行时,B300 产出 3089 tok/s/GPU(每百万 token $0.21),GB200 NVL72 产出 3247($0.19)。GB200 NVL72 每 token 成本低 10%;GB200 NVL72 每 GPU 吞吐量高出 5%。
在 MiniMax M2.5/M2.7 上以 143 tok/s/user 交互性运行时,B300 吞吐量为 1147 tok/s/GPU,每百万 token 成本 $0.57;GB200 NVL72 吞吐量为 1066 tok/s/GPU,成本 $0.58。B300 每 token 成本低 2%;B300 每 GPU 吞吐量高出 8%。 (数据反映此 URL 的默认 1k/1k · fp4 选择——如果您在控件中更改序列、精度或模型,下方表格和图表会自动更新。)
| Metric | Interactivity (tok/s/user) | Interactivity (tok/s/user) | Interactivity (tok/s/user) |
|---|---|---|---|
| Throughput (tok/s/gpu) | B300:7214.1GB200 NVL72:8432.8 | B300:3089.2GB200 NVL72:3246.9 | B300:1147.4GB200 NVL72:1066.4 |
| Cost ($/M tok) | B300:$0.091GB200 NVL72:$0.073 | B300:$0.210GB200 NVL72:$0.190 | B300:$0.567GB200 NVL72:$0.581 |
| tok/s/MW | B300:3324484GB200 NVL72:4015616 | B300:1423572GB200 NVL72:1546138 | B300:528759GB200 NVL72:507786 |
| Concurrency | B300:~558GB200 NVL72:~928 | B300:~146GB200 NVL72:~236 | B300:~7GB200 NVL72:~45 |
推理性能
不同模型、硬件配置和服务参数下的推理性能指标。