对比 B200(NVIDIA Blackwell)与 MI355X(AMD CDNA 4)在 MiniMax M3 428B 上的 AI 推理基准测试结果,涵盖不同 LLM 工作负载下的延迟、吞吐量和成本。可通过下方图表控件切换序列长度、精度和指标,操作方式与主推理图表相同。
AgentX 回放真实的 coding agent 会话,而非定长 prompt。随着会话轮次增加,上下文不断增长;每个请求的大部分内容都可直接从 cache 读取,无需重新计算。因此,这项对比不仅取决于芯片本身的吞吐量,还会受到跨节点 KV 传输、prefix-aware routing 和 cache 容量等系统因素影响。定长序列工作负载仍是衡量 kernel 与芯片性能的清晰基线;两种场景从不同角度回答同一硬件的性能问题。 进一步了解 AgentX →
以 108 tok/s/user 为目标运行 MiniMax M3 428B 时,B200 的吞吐量为 44560 tok/s/chip,每百万 token 成本为 $0.01;MI355X 的吞吐量为 44022 tok/s/chip,每百万 token 成本为 $0.01。MI355X 的成本效率高出 14%;B200 的单芯片吞吐量高出 1%。
172 tok/s/user 位于 44–300 tok/s/user 交互性区间的中段。在这一运行点,B200 运行 MiniMax M3 428B 的吞吐量为 30616 tok/s/chip,每百万 token 成本为 $0.02;MI355X 的吞吐量为 23356 tok/s/chip,每百万 token 成本为 $0.02。B200 的成本效率高出 14%;B200 的单芯片吞吐量高出 31%。
将 MiniMax M3 428B 的目标交互性设为 236 tok/s/user 时,B200 的吞吐量为 19090 tok/s/chip,每百万 token 成本为 $0.03;MI355X 的吞吐量为 9490 tok/s/chip,每百万 token 成本为 $0.04。B200 的成本效率高出 74%;B200 的单芯片吞吐量高出 101%。 (以上数据基于此 URL 对应的默认 agentic-traces · fp4 配置;在控件中切换序列长度、精度或模型后,下方表格和图表会同步更新。)
| 指标 | 交互性(tok/s/user) | 交互性(tok/s/user) | 交互性(tok/s/user) |
|---|---|---|---|
| 吞吐量(tok/s/chip) | B200:44560.1MI355X:44022.4 | B200:30615.8MI355X:23356.1 | B200:19090.3MI355X:9490.0 |
| 成本($/M tok) | B200:$0.011MI355X:$0.009 | B200:$0.016MI355X:$0.018 | B200:$0.025MI355X:$0.044 |
| tok/s/MW | B200:26058539MI355X:21063344 | B200:17903969MI355X:11175147 | B200:11163910MI355X:4540661 |
| 并发数 | B200:~29MI355X:~27 | B200:~18MI355X:~16 | B200:~12MI355X:~1 |
不同模型、硬件配置和服务参数下,来自 AgentX 场景的智能体推理指标与固定序列推理指标。
TCO $/chip/hr:
来源: SemiAnalysis Market July 2026 Pricing Surveys & AI Cloud TCO Model
注意:分离式推理配置(如 MoRI SGLang、Dynamo TRTLLM)按解码芯片或预填充 芯片计算每百万 token 成本,而非按芯片总数计算。因此,与聚合配置进行token 成本的直接对比并不完全等价。
注意:分离式推理配置(如 MoRI SGLang、Dynamo TRTLLM)按解码芯片或预填充 芯片计算输入吞吐量,而非按芯片总数计算。因此,与聚合配置进行输入吞吐量的直接对比并不完全等价。
注意:分离式推理配置(如 MoRI SGLang、Dynamo TRTLLM)按解码芯片或预填充 芯片计算输出吞吐量,而非按芯片总数计算。因此,与聚合配置进行输出吞吐量的直接对比并不完全等价。
注意:分离式推理配置(如 MoRI SGLang、Dynamo TRTLLM)按解码芯片或预填充 芯片计算功耗,而非按芯片总数计算。因此,与聚合配置进行功耗的直接对比并不完全等价。
注意:分离式推理配置(如 MoRI SGLang、Dynamo TRTLLM)按解码芯片或预填充 芯片计算能耗,而非按芯片总数计算。因此,与聚合配置进行每 token 能耗的直接对比并不完全等价。
有符合条件的测量数据,但对应的芯片曲线已隐藏。
按住 Shift 滚动以缩放 · 拖动以平移 · 双击以重置 · 点击数据点固定提示框
1 ATOM 引擎前景可期,但尚未用于生产环境 token 服务,仍处于早期阶段。