Muse Spark Open 816B
DeepSeek V4 Pro 0813 1.6T
Kimi K3 2.8T
MiniMax M3 428B
GLM5.2/GLM5.3 744B
Qwen3.5 397B
gpt-oss 120B
Llama 3.3 70B InstructMuse Spark Open 816B
长上下文、多轮交互的真实智能体场景（AgentX）
智能体推理成本
超大规模云厂商成本 ↓ 越低越好 来源：InferenceX 与 SemiAnalysis Market July 2026 Pricing Surveys & AI Cloud TCO Model
| 模型 · 场景 | B200 | MI355X | B300 | GB200 NVL72 | GB300 NVL72 |
|---|---|---|---|---|---|
Muse Spark Open 816B长上下文、多轮交互的真实智能体场景（AgentX） | — 无精确 @50 结果 | SGLang · FP4 | — 无精确 @50 结果 | — 无精确 @50 结果 | — 无精确 @50 结果 |
DeepSeek V4 Pro 0813 1.6T长上下文、多轮交互的真实智能体场景（AgentX） | — 无精确 @50 结果 | — 无精确 @50 结果 | |||
DeepSeek V4.1 Flash 552B长上下文、多轮交互的真实智能体场景（AgentX） | — 无精确 @50 结果 | — 无精确 @50 结果 | — 无精确 @50 结果 | — 无精确 @50 结果 | |
Kimi K3 2.8T长上下文、多轮交互的真实智能体场景（AgentX） | vLLM · FP4 | — 无精确 @50 结果 | |||
MiniMax M3 428B长上下文、多轮交互的真实智能体场景（AgentX） | — 无精确 @50 结果 | — 无精确 @50 结果 | — 无精确 @50 结果 | — 无精确 @50 结果 | — 无精确 @50 结果 |
GLM5.2/GLM5.3 744B长上下文、多轮交互的真实智能体场景（AgentX） | — 无精确 @50 结果 | Dynamo SGLang · FP4 | — 无精确 @50 结果 | — 无精确 @50 结果 | |
Qwen3.5 397B长上下文、多轮交互的真实智能体场景（AgentX） | Dynamo SGLang · FP4 | — 无精确 @50 结果 | |||
Qwen3.8 Flash Next 176B长上下文、多轮交互的真实智能体场景（AgentX） | — 无精确 @50 结果 | — 该场景暂无数据 | — 无精确 @50 结果 | — 该场景暂无数据 | SGLang · FP4 |
Qwen3.5 397B8K/1K | SGLang · FP8 | — 无精确 @50 结果 | — 无精确 @50 结果 | ||
DeepSeek R1 0528 671B维护模式目前已不再对该模型进行持续基准测试。8K/1K | SGLang · FP4 | SGLang · FP8 | SGLang · FP8 | Dynamo SGLang · FP8 · STP | Dynamo SGLang · FP8 · STP |
Kimi K2.5/2.6/2.7-Code 1T已弃用目前已不再对该模型进行持续基准测试。8K/1K | Dynamo vLLM · FP4 · STP | vLLM · FP4 · STP | vLLM · FP4 · STP | Dynamo vLLM · FP4 · STP | Dynamo vLLM · FP4 · STP |
GLM5/5.1 744B已弃用目前已不再对该模型进行持续基准测试。8K/1K | SGLang · FP4 | SGLang · FP8 | SGLang · FP4 | Dynamo SGLang · FP4 · STP | Dynamo SGLang · FP4 · STP |
gpt-oss 120B已弃用目前已不再对该模型进行持续基准测试。8K/1K | vLLM · FP4 · STP | vLLM · FP4 · STP | — 该场景暂无数据 | — 该场景暂无数据 | — 该场景暂无数据 |
MiniMax M2.5/2.7 230B已弃用目前已不再对该模型进行持续基准测试。8K/1K | vLLM · FP4 · STP | vLLM · FP4 · STP | vLLM · FP4 · STP | Dynamo vLLM · FP4 · STP | Dynamo vLLM · FP4 · STP |
Llama 3.3 70B Instruct已弃用目前已不再对该模型进行持续基准测试。8K/1K | vLLM · FP4 · STP | vLLM · FP4 · STP | — 该场景暂无数据 | — 该场景暂无数据 | — 该场景暂无数据 |
DeepSeek V4 Pro 0813 1.6T
长上下文、多轮交互的真实智能体场景（AgentX）
DeepSeek V4.1 Flash 552B
长上下文、多轮交互的真实智能体场景（AgentX）
Kimi K3 2.8T
长上下文、多轮交互的真实智能体场景（AgentX）
MiniMax M3 428B
长上下文、多轮交互的真实智能体场景（AgentX）
B200—无精确 @50 结果MI355X—无精确 @50 结果B300—无精确 @50 结果GB200 NVL72—无精确 @50 结果GB300 NVL72—无精确 @50 结果GLM5.2/GLM5.3 744B
长上下文、多轮交互的真实智能体场景（AgentX）
Qwen3.5 397B
长上下文、多轮交互的真实智能体场景（AgentX）
Qwen3.8 Flash Next 176B
长上下文、多轮交互的真实智能体场景（AgentX）
Qwen3.5 397B
8K/1K
DeepSeek R1 0528 671B维护模式目前已不再对该模型进行持续基准测试。
8K/1K
Kimi K2.5/2.6/2.7-Code 1T已弃用目前已不再对该模型进行持续基准测试。
8K/1K
GLM5/5.1 744B已弃用目前已不再对该模型进行持续基准测试。
8K/1K
gpt-oss 120B已弃用目前已不再对该模型进行持续基准测试。
8K/1K
MiniMax M2.5/2.7 230B已弃用目前已不再对该模型进行持续基准测试。
8K/1K
Llama 3.3 70B Instruct已弃用目前已不再对该模型进行持续基准测试。
8K/1K
当前成本，以及相较于 30–60 天前该平台最近一次有效结果的变化。
缺少有效 30 天对比的平台仅显示当前成本。
如果某款芯片没有可用的 FP4 投机解码配置，则改用次优配置。