DeepSeek V4 Pro 1.6T
8K/1K
B200
vLLM · FP4
MI355X
$0.355比 B200 昂贵 17%
SGLang · FP4
B300
$0.245比 B200 便宜 19%
SGLang · FP4
GB200 NVL72
$0.514比 B200 昂贵 69%
Dynamo vLLM · FP4
GB300 NVL72
$0.213比 B200 便宜 30%
Dynamo SGLang · FP4STP
推理每百万 token 成本
超大规模云（hyperscaler）成本 ↓ 越低越好 来源：InferenceX 与 SemiAnalysis Market July 2026 AI Cloud TCO Model
| 模型 · 场景 | B200 · 基准 | MI355X | B300 | GB200 NVL72 | GB300 NVL72 |
|---|---|---|---|---|---|
DeepSeek V4 Pro 1.6T8K/1K | vLLM · FP4 | $0.355比 B200 昂贵 17% SGLang · FP4 | $0.245比 B200 便宜 19% SGLang · FP4 | $0.514比 B200 昂贵 69% Dynamo vLLM · FP4 | $0.213比 B200 便宜 30% Dynamo SGLang · FP4 · STP |
DeepSeek V4 Pro 1.6T长上下文多轮真实智能体场景（AgentX） | vLLM · FP4 | $0.256比 B200 昂贵 407% MoRI SGLang · FP4 | $0.019比 B200 便宜 63% vLLM · FP4 | — 该场景暂无数据 | — 无精确 @50 结果 |
Kimi K3 2.8T长上下文多轮真实智能体场景（AgentX） | Dynamo vLLM · FP4 · STP | — 该场景暂无数据 | $0.144比 B200 便宜 89% vLLM · FP4 | $0.497比 B200 便宜 63% Dynamo vLLM · FP4 | — 该场景暂无数据 |
MiniMax M3 428B8K/1K | vLLM · FP8 | $0.113比 B200 昂贵 69% vLLM · FP4 | $0.056比 B200 便宜 16% vLLM · FP4 | $0.108比 B200 昂贵 62% Dynamo vLLM · FP8 · STP | $0.110比 B200 昂贵 65% Dynamo vLLM · FP8 · STP |
MiniMax M3 428B长上下文多轮真实智能体场景（AgentX） | — 无精确 @50 结果 | — 该场景暂无数据 | $0.012缺少可比较的 B200 基线 vLLM · FP4 | — 该场景暂无数据 | — 该场景暂无数据 |
GLM5.2长上下文多轮真实智能体场景（AgentX） | — 无精确 @50 结果 | $0.040缺少可比较的 B200 基线 SGLang · FP4 | — 无精确 @50 结果 | — 该场景暂无数据 | — 该场景暂无数据 |
Qwen3.5 397B8K/1K | SGLang · FP4 | $0.067比 B200 昂贵 67% SGLang · FP4 | $0.040与 B200 成本基本持平 SGLang · FP4 | $0.142比 B200 昂贵 251% Dynamo SGLang · FP8 · STP | $0.133比 B200 昂贵 230% Dynamo SGLang · FP8 · STP |
Qwen3.5 397B长上下文多轮真实智能体场景（AgentX） | — 无精确 @50 结果 | — 该场景暂无数据 | $0.006缺少可比较的 B200 基线 SGLang · FP4 | — 该场景暂无数据 | $0.007缺少可比较的 B200 基线 Dynamo SGLang · FP4 |
- 查看详情
DeepSeek V4 Pro 1.6T
长上下文多轮真实智能体场景（AgentX）
查看详情B200vLLM · FP4MI355X$0.256比 B200 昂贵 407%MoRI SGLang · FP4B300$0.019比 B200 便宜 63%vLLM · FP4GB200 NVL72—该场景暂无数据GB300 NVL72—无精确 @50 结果Kimi K3 2.8T
长上下文多轮真实智能体场景（AgentX）
查看详情B200Dynamo vLLM · FP4STPMI355X—该场景暂无数据B300$0.144比 B200 便宜 89%vLLM · FP4GB200 NVL72$0.497比 B200 便宜 63%Dynamo vLLM · FP4GB300 NVL72—该场景暂无数据MiniMax M3 428B
8K/1K
查看详情B200vLLM · FP8MI355X$0.113比 B200 昂贵 69%vLLM · FP4B300$0.056比 B200 便宜 16%vLLM · FP4GB200 NVL72$0.108比 B200 昂贵 62%Dynamo vLLM · FP8STPGB300 NVL72$0.110比 B200 昂贵 65%Dynamo vLLM · FP8STPMiniMax M3 428B
长上下文多轮真实智能体场景（AgentX）
查看详情B200—无精确 @50 结果MI355X—该场景暂无数据B300$0.012缺少可比较的 B200 基线vLLM · FP4GB200 NVL72—该场景暂无数据GB300 NVL72—该场景暂无数据GLM5.2
长上下文多轮真实智能体场景（AgentX）
查看详情B200—无精确 @50 结果MI355X$0.040缺少可比较的 B200 基线SGLang · FP4B300—无精确 @50 结果GB200 NVL72—该场景暂无数据GB300 NVL72—该场景暂无数据Qwen3.5 397B
8K/1K
查看详情B200SGLang · FP4MI355X$0.067比 B200 昂贵 67%SGLang · FP4B300$0.040与 B200 成本基本持平SGLang · FP4GB200 NVL72$0.142比 B200 昂贵 251%Dynamo SGLang · FP8STPGB300 NVL72$0.133比 B200 昂贵 230%Dynamo SGLang · FP8STPQwen3.5 397B
长上下文多轮真实智能体场景（AgentX）
查看详情B200—无精确 @50 结果MI355X—该场景暂无数据B300$0.006缺少可比较的 B200 基线SGLang · FP4GB200 NVL72—该场景暂无数据GB300 NVL72$0.007缺少可比较的 B200 基线Dynamo SGLang · FP4
— = 无结果。∞ = 缺少 B200 基线。
若某款芯片不支持 FP4 推测解码，则采用次优的可用配置。