DeepSeek V4 Pro 0813 1.6T
8K/1K
B200
Dynamo SGLang · FP4
MI355X
—
无法达到 @150
B300
$0.694与 B200 成本基本持平
TRTLLM · FP4
GB200 NVL72
$1.028成本比 B200 高 50%
Dynamo SGLang · FP4
GB300 NVL72
$0.525成本比 B200 低 23%
Dynamo SGLang · FP4
智能体推理成本
超大规模云厂商成本 ↓ 越低越好 来源：InferenceX 与 SemiAnalysis Market July 2026 Pricing Surveys & AI Cloud TCO Model
| 模型 · 场景 | B200 · 基准 | MI355X | B300 | GB200 NVL72 | GB300 NVL72 |
|---|---|---|---|---|---|
DeepSeek V4 Pro 0813 1.6T8K/1K | Dynamo SGLang · FP4 | — 无法达到 @150 | $0.694与 B200 成本基本持平 TRTLLM · FP4 | $1.028成本比 B200 高 50% Dynamo SGLang · FP4 | $0.525成本比 B200 低 23% Dynamo SGLang · FP4 |
DeepSeek V4 Pro 0813 1.6T长上下文、多轮交互的真实智能体场景（AgentX） | SGLang · FP4 | — 无法达到 @150 | $0.125成本比 B200 低 15% vLLM · FP4 | $0.203成本比 B200 高 38% Dynamo vLLM · FP4 | $0.099成本比 B200 低 33% Dynamo vLLM · FP4 |
Kimi K3 2.8T长上下文、多轮交互的真实智能体场景（AgentX） | Dynamo vLLM · FP4 | — 无法达到 @150 | $0.303成本比 B200 低 18% vLLM · FP4 | $0.414成本比 B200 高 12% Dynamo vLLM · FP4 | $0.182成本比 B200 低 51% Dynamo vLLM · FP4 |
MiniMax M3 428B8K/1K | vLLM · FP4 | $0.102与 B200 成本基本持平 ATOM¹ · FP4 | $0.123成本比 B200 高 21% vLLM · FP4 | $0.904成本比 B200 高 791% Dynamo vLLM · FP8 · STP | $0.268成本比 B200 高 164% Dynamo vLLM · FP8 |
MiniMax M3 428B长上下文、多轮交互的真实智能体场景（AgentX） | TRTLLM · FP4 | — 无法达到 @150 | $0.014成本比 B200 高 11% TRTLLM · FP4 | $0.027成本比 B200 高 103% Dynamo vLLM · FP4 | $0.025成本比 B200 高 92% Dynamo vLLM · FP4 |
GLM5.2/GLM5.3 744B长上下文、多轮交互的真实智能体场景（AgentX） | SGLang · FP4 | $0.238成本比 B200 高 237% ATOM¹ · FP4 | $0.067与 B200 成本基本持平 SGLang · FP4 | $0.071与 B200 成本基本持平 Dynamo SGLang · FP4 | $0.068与 B200 成本基本持平 Dynamo SGLang · FP4 |
Qwen3.5 397B8K/1K | TRTLLM · FP4 | $0.147成本比 B200 高 81% SGLang · FP4 | $0.088成本比 B200 高 8% SGLang · FP4 | $0.290成本比 B200 高 256% Dynamo SGLang · FP8 | $0.069成本比 B200 低 15% Dynamo TRTLLM · FP4 |
Qwen3.5 397B长上下文、多轮交互的真实智能体场景（AgentX） | SGLang · FP4 | — 无法达到 @150 | $0.015成本比 B200 高 59% SGLang · FP4 | $0.011成本比 B200 高 14% Dynamo SGLang · FP4 | $0.011成本比 B200 高 11% Dynamo TRTLLM · FP4 |
DeepSeek R1 0528 671B维护模式目前已不再对该模型进行持续基准测试。8K/1K | SGLang · FP4 | $0.266成本比 B200 高 19% MoRI SGLang · FP4 | $0.345成本比 B200 高 54% Dynamo TRTLLM · FP4 | $0.144成本比 B200 低 36% Dynamo TRTLLM · FP4 | $0.138成本比 B200 低 38% Dynamo TRTLLM · FP4 |
Kimi K2.5/2.6/2.7-Code 1T已弃用目前已不再对该模型进行持续基准测试。8K/1K | Dynamo TRTLLM · FP4 · STP | — 无法达到 @150 | $1.444成本比 B200 高 50% vLLM · FP4 · STP | $1.041成本比 B200 高 8% Dynamo TRTLLM · FP4 · STP | $1.209成本比 B200 高 25% Dynamo TRTLLM · FP4 · STP |
GLM5/5.1 744B已弃用目前已不再对该模型进行持续基准测试。8K/1K | — 无精确 @150 结果 | — 无法达到 @150 | — 无法达到 @150 | $1.036缺少可比较的 B200 基线 Dynamo TRTLLM · FP4 | $0.998缺少可比较的 B200 基线 Dynamo TRTLLM · FP4 |
gpt-oss 120B已弃用目前已不再对该模型进行持续基准测试。8K/1K | TRTLLM · FP4 · STP | $0.027成本比 B200 高 31% ATOM¹ · FP4 · STP | — 该场景暂无数据 | $0.022成本比 B200 高 9% Dynamo TRTLLM · FP4 · STP | — 该场景暂无数据 |
MiniMax M2.5/2.7 230B已弃用目前已不再对该模型进行持续基准测试。8K/1K | vLLM · FP4 · STP | — 无法达到 @150 | $0.275成本比 B200 高 38% vLLM · FP4 · STP | $0.280成本比 B200 高 40% Dynamo vLLM · FP4 · STP | $0.297成本比 B200 高 49% Dynamo vLLM · FP4 · STP |
Llama 3.3 70B Instruct已弃用目前已不再对该模型进行持续基准测试。8K/1K | TRTLLM · FP8 · STP | — 无法达到 @150 | — 该场景暂无数据 | — 该场景暂无数据 | — 该场景暂无数据 |
- 查看详情
DeepSeek V4 Pro 0813 1.6T
长上下文、多轮交互的真实智能体场景（AgentX）
查看详情B200SGLang · FP4MI355X—无法达到 @150B300$0.125成本比 B200 低 15%vLLM · FP4GB200 NVL72$0.203成本比 B200 高 38%Dynamo vLLM · FP4GB300 NVL72$0.099成本比 B200 低 33%Dynamo vLLM · FP4Kimi K3 2.8T
长上下文、多轮交互的真实智能体场景（AgentX）
查看详情B200Dynamo vLLM · FP4MI355X—无法达到 @150B300$0.303成本比 B200 低 18%vLLM · FP4GB200 NVL72$0.414成本比 B200 高 12%Dynamo vLLM · FP4GB300 NVL72$0.182成本比 B200 低 51%Dynamo vLLM · FP4MiniMax M3 428B
8K/1K
查看详情B200vLLM · FP4MI355X$0.102与 B200 成本基本持平ATOM¹ · FP4B300$0.123成本比 B200 高 21%vLLM · FP4GB200 NVL72$0.904成本比 B200 高 791%Dynamo vLLM · FP8STPGB300 NVL72$0.268成本比 B200 高 164%Dynamo vLLM · FP8MiniMax M3 428B
长上下文、多轮交互的真实智能体场景（AgentX）
查看详情B200TRTLLM · FP4MI355X—无法达到 @150B300$0.014成本比 B200 高 11%TRTLLM · FP4GB200 NVL72$0.027成本比 B200 高 103%Dynamo vLLM · FP4GB300 NVL72$0.025成本比 B200 高 92%Dynamo vLLM · FP4GLM5.2/GLM5.3 744B
长上下文、多轮交互的真实智能体场景（AgentX）
查看详情B200SGLang · FP4MI355X$0.238成本比 B200 高 237%ATOM¹ · FP4B300$0.067与 B200 成本基本持平SGLang · FP4GB200 NVL72$0.071与 B200 成本基本持平Dynamo SGLang · FP4GB300 NVL72$0.068与 B200 成本基本持平Dynamo SGLang · FP4Qwen3.5 397B
8K/1K
查看详情B200TRTLLM · FP4MI355X$0.147成本比 B200 高 81%SGLang · FP4B300$0.088成本比 B200 高 8%SGLang · FP4GB200 NVL72$0.290成本比 B200 高 256%Dynamo SGLang · FP8GB300 NVL72$0.069成本比 B200 低 15%Dynamo TRTLLM · FP4Qwen3.5 397B
长上下文、多轮交互的真实智能体场景（AgentX）
查看详情B200SGLang · FP4MI355X—无法达到 @150B300$0.015成本比 B200 高 59%SGLang · FP4GB200 NVL72$0.011成本比 B200 高 14%Dynamo SGLang · FP4GB300 NVL72$0.011成本比 B200 高 11%Dynamo TRTLLM · FP4DeepSeek R1 0528 671B维护模式目前已不再对该模型进行持续基准测试。
8K/1K
查看详情B200SGLang · FP4MI355X$0.266成本比 B200 高 19%MoRI SGLang · FP4B300$0.345成本比 B200 高 54%Dynamo TRTLLM · FP4GB200 NVL72$0.144成本比 B200 低 36%Dynamo TRTLLM · FP4GB300 NVL72$0.138成本比 B200 低 38%Dynamo TRTLLM · FP4Kimi K2.5/2.6/2.7-Code 1T已弃用目前已不再对该模型进行持续基准测试。
8K/1K
查看详情B200Dynamo TRTLLM · FP4STPMI355X—无法达到 @150B300$1.444成本比 B200 高 50%vLLM · FP4STPGB200 NVL72$1.041成本比 B200 高 8%Dynamo TRTLLM · FP4STPGB300 NVL72$1.209成本比 B200 高 25%Dynamo TRTLLM · FP4STPGLM5/5.1 744B已弃用目前已不再对该模型进行持续基准测试。
8K/1K
查看详情B200—无精确 @150 结果MI355X—无法达到 @150B300—无法达到 @150GB200 NVL72$1.036缺少可比较的 B200 基线Dynamo TRTLLM · FP4GB300 NVL72$0.998缺少可比较的 B200 基线Dynamo TRTLLM · FP4gpt-oss 120B已弃用目前已不再对该模型进行持续基准测试。
8K/1K
查看详情B200TRTLLM · FP4STPMI355X$0.027成本比 B200 高 31%ATOM¹ · FP4STPB300—该场景暂无数据GB200 NVL72$0.022成本比 B200 高 9%Dynamo TRTLLM · FP4STPGB300 NVL72—该场景暂无数据MiniMax M2.5/2.7 230B已弃用目前已不再对该模型进行持续基准测试。
8K/1K
查看详情B200vLLM · FP4STPMI355X—无法达到 @150B300$0.275成本比 B200 高 38%vLLM · FP4STPGB200 NVL72$0.280成本比 B200 高 40%Dynamo vLLM · FP4STPGB300 NVL72$0.297成本比 B200 高 49%Dynamo vLLM · FP4STP- 查看详情
Llama 3.3 70B Instruct已弃用目前已不再对该模型进行持续基准测试。
8K/1K
— = 无结果。∞ = 缺少 B200 基线。
如果某款芯片没有可用的 FP4 投机解码配置，则改用次优配置。