硬件
NVLink
也称为 NVIDIA NVLink、GPU 高速互连
先用大白话
NVLink 是 NVIDIA GPU 之间的高速公路，让多张 GPU 的协作远快于普通服务器网络。
技术定义
NVLink 是 NVIDIA 用于 scale-up 域内 GPU 直接数据传输的高带宽加速器互连。
工程细节
NVSwitch 系统连接多个 NVLink 端点，使集体通信可覆盖八卡服务器，或在 NVL72 产品中覆盖 72 GPU 机架级域；该带宽不同于连接独立系统的 InfiniBand/Ethernet。
为什么重要
大型 TP，尤其是 Wide EP，会在每个生成 token 上交换数据。把通信留在 NVLink 上，可让机架级方案显著快于通过 scale-out 连接的相似 GPU 数量。
如何在 InferenceX 中解读
InferenceX 同时比较节点级 GPU 与 NVL72。归因于单 GPU 算力前，应先理解系统拓扑与并行组宽度。
参考资料
在真实基准中理解这一概念
GB200 NVL72 对比 B200 运行 DeepSeek R1 670B：在 125 tok/s/user 下每 GPU 吞吐量最高达 4.4 倍
DeepSeek R1 FP4 1k/1k。NVL72 的 72-GPU NVLink 扩展域允许解码使用最高 EP=32 的宽专家并行，而 B200 的 8-GPU NVLink 岛通过 RoCEv2 上限为 EP=8
GB200 NVL72 vs B200 Kimi K2.5 推理对比：宽 EP vLLM 带来 3.1 倍提升
NVL72 的机架级 NVLink 使 Dynamo vLLM 能够以最高 Decode EP 16 运行 Kimi K2.5 宽 EP，在 8k/1k NVFP4 下峰值吞吐量从 4,021 提升至 12,587 tok/s/GPU
InferenceX v2：NVIDIA Blackwell 对决 AMD 与 Hopper — 前身为 InferenceMAX
GB300 NVL72、MI355X、B200、H100、分离式推理、宽专家并行、大规模混合专家、SGLang、vLLM、TRTLLM