智能体推理成本

超大规模云厂商成本 ↓ 越低越好 来源:InferenceX 与 SemiAnalysis Market July 2026 Pricing Surveys & AI Cloud TCO Model

  • DeepSeek V4 Pro 0813 1.6T

    8K/1K

    B200
    $0.684成本比该平台 7月12日 的结果低 46%
    Dynamo SGLang · FP4
    对比曲线
    MI355X
    无法达到 @150
    B300
    SGLang · FP4
    GB200 NVL72
    Dynamo SGLang · FP4
    GB300 NVL72
    Dynamo SGLang · FP4
  • MiniMax M3 428B

    8K/1K

    B200
    $0.101成本比该平台 7月6日 的结果低 18%
    vLLM · FP4
    对比曲线
    MI355X
    vLLM · FP4
    B300
    $0.123成本比该平台 7月26日 的结果低 9%
    vLLM · FP4
    对比曲线
    GB200 NVL72
    $0.904成本比该平台 6月29日 的结果低 61%
    Dynamo vLLM · FP8STP
    对比曲线
    GB300 NVL72
    Dynamo vLLM · FP8
  • Qwen3.5 397B

    8K/1K

    B200
    $0.085与该平台 7月5日 的结果成本基本持平
    SGLang · FP4
    对比曲线
    MI355X
    $0.147成本比该平台 7月16日 的结果低 14%
    SGLang · FP4
    对比曲线
    B300
    $0.088成本比该平台 7月4日 的结果低 9%
    SGLang · FP4
    对比曲线
    GB200 NVL72
    $0.290与该平台 7月26日 的结果成本基本持平
    Dynamo SGLang · FP8
    对比曲线
    GB300 NVL72
    $0.342成本比该平台 7月13日 的结果低 72%
    Dynamo SGLang · FP8
    对比曲线

当前成本,以及相较于 30–60 天前该平台最近一次有效结果的变化。

缺少有效 30 天对比的平台仅显示当前成本。

如果某款芯片没有可用的 FP4 投机解码配置,则改用次优配置。