预计阅读 3 分钟
DeepSeek V4 Pro 的 AgentX 结果：GB200 与 GB300 的机架级分离式部署
两者都依赖 PD 分离，GB300 额外使用 DEP32 宽专家并行解码，而差距体现在首 token 延迟而非 token 速率上
- agentx
- agentic
- benchmark
- +8
InferenceX 研究
文章
关于智能体推理、AgentX 结果、芯片与推理框架经济性的基准测试文章。
不熟悉相关概念？ 浏览 AI 推理术语表。
标签：nvl72
7 篇文章
预计阅读 3 分钟
GLM 5.3 的 AgentX 结果：MI355X ATOM 在部分曲线上胜过 GB300 NVL72
AMD 厂商引擎在每美元性能上胜出的区间，以及端到端归一化交互性究竟衡量什么
- agentx
- agentic
- benchmark
- +9
预计阅读 2 分钟
Kimi K3 的 AgentX 结果：MI355X ATOM 在部分曲线上胜过 GB300 NVL72
AMD 的厂商引擎在每美元性能前沿上赢下了实打实的一段，而 Hopper 连服务 K3 都很吃力
- agentx
- agentic
- benchmark
- +8
预计阅读 3 分钟
MiniMax M3 的 AgentX 结果：B200 与 B300 为何胜过机架级的 GB200 NVL72 与 GB300 NVL72
Dynamo router 成为瓶颈，没有提交使用上下文并行，而 AMD 完全没有用上 KV offload
- agentx
- agentic
- benchmark
- +10
预计阅读 11 分钟
GB300 NVL72 vs GB200 NVL72 推理性能与性价比对比 — DeepSeek-V4-Pro 1.6T：吞吐量最高提升 2.83 倍
DSv4-Pro FP4 8K/1K，Dynamo+vLLM，两套机架均采用分离式部署。GB300 多出 50% 的 HBM（每 GPU 288 GB vs 192 GB）解锁了 GB200 无法容纳的更宽预填充+解码配方——尽管单 GPU TCO 溢价 20%，曲线中段性价比仍提升 2.31 倍。
- benchmark
- gpu
- inference
- +9
预计阅读 9 分钟
GB200 NVL72 对比 B200 运行 DeepSeek R1 670B：在 125 tok/s/user 下每 GPU 吞吐量最高达 4.4 倍
DeepSeek R1 FP4 1k/1k。NVL72 的 72-GPU NVLink 扩展域允许解码使用最高 EP=32 的宽专家并行，而 B200 的 8-GPU NVLink 岛通过 RoCEv2 上限为 EP=8
- benchmark
- gpu
- inference
- +9
预计阅读 7 分钟
GB200 NVL72 vs B200 Kimi K2.5 推理对比：宽 EP vLLM 带来 3.1 倍提升
NVL72 的机架级 NVLink 使 Dynamo vLLM 能够以最高 Decode EP 16 运行 Kimi K2.5 宽 EP，在 8k/1k NVFP4 下峰值吞吐量从 4,021 提升至 12,587 tok/s/GPU
- benchmark
- gpu
- inference
- +7