对比 H100(NVIDIA Hopper)与 MI355X(AMD CDNA 4)在 gpt-oss 120B 上的 AI 推理基准测试结果,涵盖不同 LLM 工作负载下的延迟、吞吐量和成本。可通过下方图表控件切换序列长度、精度和指标,操作方式与主推理图表相同。
以 91 tok/s/user 为目标运行 gpt-oss 120B 时,H100 的吞吐量为 6311 tok/s/chip,每百万 token 成本为 $0.05;MI355X 的吞吐量为 26707 tok/s/chip,每百万 token 成本为 $0.02。MI355X 的成本效率高出 230%;MI355X 的单芯片吞吐量高出 323%。
144 tok/s/user 位于 38–250 tok/s/user 交互性区间的中段。在这一运行点,H100 运行 gpt-oss 120B 的吞吐量为 4116 tok/s/chip,每百万 token 成本为 $0.08;MI355X 的吞吐量为 16480 tok/s/chip,每百万 token 成本为 $0.03。MI355X 的成本效率高出 212%;MI355X 的单芯片吞吐量高出 300%。
将 gpt-oss 120B 的目标交互性设为 197 tok/s/user 时,H100 的吞吐量为 2636 tok/s/chip,每百万 token 成本为 $0.12;MI355X 的吞吐量为 10740 tok/s/chip,每百万 token 成本为 $0.04。MI355X 的成本效率高出 218%;MI355X 的单芯片吞吐量高出 307%。 (以上数据基于此 URL 对应的默认 8k/1k · fp4 配置;在控件中切换序列长度、精度或模型后,下方表格和图表会同步更新。)
| 指标 | 交互性(tok/s/user) | 交互性(tok/s/user) | 交互性(tok/s/user) |
|---|---|---|---|
| 吞吐量(tok/s/chip) | H100:6310.8MI355X:26707.1 | H100:4115.7MI355X:16480.1 | H100:2636.0MI355X:10739.7 |
| 成本($/M tok) | H100:$0.051MI355X:$0.016 | H100:$0.079MI355X:$0.025 | H100:$0.123MI355X:$0.039 |
| tok/s/MW | H100:4606456MI355X:12778496 | H100:3004142MI355X:7885227 | H100:1924056MI355X:5138603 |
| 并发数 | H100:~32MI355X:~34 | H100:~13MI355X:~13 | H100:~6MI355X:~6 |
不同模型、硬件配置和服务参数下,来自 AgentX 场景的智能体推理指标与固定序列推理指标。
TCO $/chip/hr:
来源: SemiAnalysis Market July 2026 Pricing Surveys & AI Cloud TCO Model
注意:分离式推理配置(如 MoRI SGLang、Dynamo TRTLLM)按解码芯片或预填充 芯片计算每百万 token 成本,而非按芯片总数计算。因此,与聚合配置进行token 成本的直接对比并不完全等价。
注意:分离式推理配置(如 MoRI SGLang、Dynamo TRTLLM)按解码芯片或预填充 芯片计算输入吞吐量,而非按芯片总数计算。因此,与聚合配置进行输入吞吐量的直接对比并不完全等价。
注意:分离式推理配置(如 MoRI SGLang、Dynamo TRTLLM)按解码芯片或预填充 芯片计算输出吞吐量,而非按芯片总数计算。因此,与聚合配置进行输出吞吐量的直接对比并不完全等价。
注意:分离式推理配置(如 MoRI SGLang、Dynamo TRTLLM)按解码芯片或预填充 芯片计算功耗,而非按芯片总数计算。因此,与聚合配置进行功耗的直接对比并不完全等价。
注意:分离式推理配置(如 MoRI SGLang、Dynamo TRTLLM)按解码芯片或预填充 芯片计算能耗,而非按芯片总数计算。因此,与聚合配置进行每 token 能耗的直接对比并不完全等价。
有符合条件的测量数据,但对应的芯片曲线已隐藏。
按住 Shift 滚动以缩放 · 拖动以平移 · 双击以重置 · 点击数据点固定提示框
1 ATOM 引擎前景可期,但尚未用于生产环境 token 服务,仍处于早期阶段。