智能体推理成本

超大规模云厂商成本 ↓ 越低越好 来源:InferenceX 与 SemiAnalysis Market July 2026 Pricing Surveys & AI Cloud TCO Model

  • DeepSeek V4 Pro 0813 1.6T

    8K/1K

    B200
    TRTLLM · FP4
    MI355X
    $0.159成本比该平台 7月14日 的结果低 55%
    ATOM¹ · FP4
    对比曲线
    B300
    TRTLLM · FP4
    GB200 NVL72
    Dynamo vLLM · FP4
    GB300 NVL72
    $0.218成本比该平台 7月6日 的结果低 48%
    Dynamo SGLang · FP4STP
    对比曲线
  • DeepSeek V4 Pro 0813 1.6T

    长上下文、多轮交互的真实智能体场景(AgentX)

    B200
    vLLM · FP4
    MI355X
    SGLang · FP4
    B300
    vLLM · FP4
    GB200 NVL72
    无精确 @50 结果
    GB300 NVL72
    Dynamo vLLM · FP4
  • Kimi K3 2.8T

    长上下文、多轮交互的真实智能体场景(AgentX)

    B200
    Dynamo vLLM · FP4
    MI355X
    vLLM · FP4
    B300
    vLLM · FP4
    GB200 NVL72
    Dynamo vLLM · FP4
    GB300 NVL72
    Dynamo vLLM · FP4
  • MiniMax M3 428B

    8K/1K

    B200
    $0.067成本比该平台 7月2日 的结果低 11%
    vLLM · FP8
    对比曲线
    MI355X
    ATOM¹ · FP4
    B300
    $0.056成本比该平台 7月6日 的结果低 12%
    vLLM · FP4
    对比曲线
    GB200 NVL72
    $0.108成本比该平台 6月29日 的结果高 14%
    Dynamo vLLM · FP8STP
    对比曲线
    GB300 NVL72
    Dynamo vLLM · FP8STP
  • MiniMax M3 428B

    长上下文、多轮交互的真实智能体场景(AgentX)

    B200
    无精确 @50 结果
    MI355X
    vLLM · FP4
    B300
    无精确 @50 结果
    GB200 NVL72
    Dynamo vLLM · FP4
    GB300 NVL72
    无精确 @50 结果
  • GLM5.2/GLM5.3 744B

    长上下文、多轮交互的真实智能体场景(AgentX)

    B200
    无精确 @50 结果
    MI355X
    SGLang · FP4
    B300
    无精确 @50 结果
    GB200 NVL72
    无精确 @50 结果
    GB300 NVL72
    无精确 @50 结果
  • Qwen3.5 397B

    8K/1K

    B200
    TRTLLM · FP4
    MI355X
    $0.067成本比该平台 7月16日 的结果低 7%
    SGLang · FP4
    对比曲线
    B300
    $0.040成本比该平台 7月4日 的结果低 6%
    SGLang · FP4
    对比曲线
    GB200 NVL72
    无精确 @50 结果
    GB300 NVL72
    $0.063成本比该平台 7月13日 的结果低 52%
    Dynamo TRTLLM · FP4STP
    对比曲线
  • Qwen3.5 397B

    长上下文、多轮交互的真实智能体场景(AgentX)

    B200
    无精确 @50 结果
    MI355X
    SGLang · FP4
    B300
    SGLang · FP8
    GB200 NVL72
    无精确 @50 结果
    GB300 NVL72
    Dynamo SGLang · FP4

当前成本,以及相较于 30–60 天前该平台最近一次有效结果的变化。

缺少有效 30 天对比的平台仅显示当前成本。

如果某款芯片没有可用的 FP4 投机解码配置,则改用次优配置。