DeepSeek V4 Pro 0813 1.6T
8K/1K
智能体推理成本
超大规模云厂商成本 ↓ 越低越好 来源：InferenceX 与 SemiAnalysis Market July 2026 Pricing Surveys & AI Cloud TCO Model
| 模型 · 场景 | B200 | MI355X | B300 | GB200 NVL72 | GB300 NVL72 |
|---|---|---|---|---|---|
DeepSeek V4 Pro 0813 1.6T8K/1K | TRTLLM · FP4 | TRTLLM · FP4 | Dynamo vLLM · FP4 | ||
DeepSeek V4 Pro 0813 1.6T长上下文、多轮交互的真实智能体场景（AgentX） | vLLM · FP4 | SGLang · FP4 | vLLM · FP4 | — 无精确 @50 结果 | Dynamo vLLM · FP4 |
Kimi K3 2.8T长上下文、多轮交互的真实智能体场景（AgentX） | Dynamo vLLM · FP4 | vLLM · FP4 | vLLM · FP4 | Dynamo vLLM · FP4 | Dynamo vLLM · FP4 |
MiniMax M3 428B8K/1K | ATOM¹ · FP4 | Dynamo vLLM · FP8 · STP | |||
MiniMax M3 428B长上下文、多轮交互的真实智能体场景（AgentX） | — 无精确 @50 结果 | vLLM · FP4 | — 无精确 @50 结果 | Dynamo vLLM · FP4 | — 无精确 @50 结果 |
GLM5.2/GLM5.3 744B长上下文、多轮交互的真实智能体场景（AgentX） | — 无精确 @50 结果 | SGLang · FP4 | — 无精确 @50 结果 | — 无精确 @50 结果 | — 无精确 @50 结果 |
Qwen3.5 397B8K/1K | TRTLLM · FP4 | — 无精确 @50 结果 | |||
Qwen3.5 397B长上下文、多轮交互的真实智能体场景（AgentX） | — 无精确 @50 结果 | SGLang · FP4 | SGLang · FP8 | — 无精确 @50 结果 | Dynamo SGLang · FP4 |
DeepSeek R1 0528 671B维护模式目前已不再对该模型进行持续基准测试。8K/1K | TRTLLM · FP4 | ATOM¹ · FP4 | Dynamo TRTLLM · FP4 | Dynamo SGLang · FP8 · STP | Dynamo TRTLLM · FP8 · STP |
Kimi K2.5/2.6/2.7-Code 1T已弃用目前已不再对该模型进行持续基准测试。8K/1K | Dynamo TRTLLM · FP4 · STP | ATOM¹ · FP4 · STP | vLLM · FP4 · STP | Dynamo TRTLLM · FP4 · STP | Dynamo TRTLLM · FP4 · STP |
GLM5/5.1 744B已弃用目前已不再对该模型进行持续基准测试。8K/1K | SGLang · FP4 | SGLang · FP8 | SGLang · FP4 | Dynamo TRTLLM · FP4 · STP | Dynamo TRTLLM · FP4 · STP |
gpt-oss 120B已弃用目前已不再对该模型进行持续基准测试。8K/1K | TRTLLM · FP4 · STP | ATOM¹ · FP4 · STP | — 该场景暂无数据 | — 无精确 @50 结果 | — 该场景暂无数据 |
MiniMax M2.5/2.7 230B已弃用目前已不再对该模型进行持续基准测试。8K/1K | vLLM · FP4 · STP | ATOM¹ · FP4 · STP | vLLM · FP4 · STP | Dynamo vLLM · FP4 · STP | Dynamo vLLM · FP4 · STP |
Llama 3.3 70B Instruct已弃用目前已不再对该模型进行持续基准测试。8K/1K | TRTLLM · FP4 · STP | vLLM · FP4 · STP | — 该场景暂无数据 | — 该场景暂无数据 | — 该场景暂无数据 |
DeepSeek V4 Pro 0813 1.6T
长上下文、多轮交互的真实智能体场景（AgentX）
Kimi K3 2.8T
长上下文、多轮交互的真实智能体场景（AgentX）
MiniMax M3 428B
8K/1K
MiniMax M3 428B
长上下文、多轮交互的真实智能体场景（AgentX）
GLM5.2/GLM5.3 744B
长上下文、多轮交互的真实智能体场景（AgentX）
Qwen3.5 397B
8K/1K
Qwen3.5 397B
长上下文、多轮交互的真实智能体场景（AgentX）
DeepSeek R1 0528 671B维护模式目前已不再对该模型进行持续基准测试。
8K/1K
Kimi K2.5/2.6/2.7-Code 1T已弃用目前已不再对该模型进行持续基准测试。
8K/1K
GLM5/5.1 744B已弃用目前已不再对该模型进行持续基准测试。
8K/1K
gpt-oss 120B已弃用目前已不再对该模型进行持续基准测试。
8K/1K
MiniMax M2.5/2.7 230B已弃用目前已不再对该模型进行持续基准测试。
8K/1K
Llama 3.3 70B Instruct已弃用目前已不再对该模型进行持续基准测试。
8K/1K
当前成本，以及相较于 30–60 天前该平台最近一次有效结果的变化。
缺少有效 30 天对比的平台仅显示当前成本。
如果某款芯片没有可用的 FP4 投机解码配置，则改用次优配置。