并行策略EP
专家并行
也称为 expert parallelism、EP
先用大白话
专家并行把模型中的不同“专家”分配给不同 GPU，再把每个 token 送到需要的专家。
技术定义
专家并行（EP）把 MoE 模型的专家分布到不同加速器，并将 token 路由到持有所选专家的 rank。
工程细节
MoE 层对每个 token 只激活部分专家。EP 利用这种稀疏性，避免每张 GPU 存储和计算全部专家，但每个 MoE 层前后都要执行 dispatch 与 combine all-to-all。
为什么重要
更宽 EP 能减少每 GPU 专家权重占用，并改善解码批处理与容量；收益取决于路由均衡和互连能否足够快地移动 token。
如何在 InferenceX 中解读
InferenceX 将 EP 宽度列为分布式方案的一部分。NVL72 可让远宽于传统八卡节点的专家组保持在 NVLink scale-up 域内。
参考资料
在真实基准中理解这一概念
InferenceX v2：NVIDIA Blackwell 对决 AMD 与 Hopper — 前身为 InferenceMAX
GB300 NVL72、MI355X、B200、H100、分离式推理、宽专家并行、大规模混合专家、SGLang、vLLM、TRTLLM
GB200 NVL72 对比 B200 运行 DeepSeek R1 670B：在 125 tok/s/user 下每 GPU 吞吐量最高达 4.4 倍
DeepSeek R1 FP4 1k/1k。NVL72 的 72-GPU NVLink 扩展域允许解码使用最高 EP=32 的宽专家并行，而 B200 的 8-GPU NVLink 岛通过 RoCEv2 上限为 EP=8
GB200 NVL72 vs B200 Kimi K2.5 推理对比：宽 EP vLLM 带来 3.1 倍提升
NVL72 的机架级 NVLink 使 Dynamo vLLM 能够以最高 Decode EP 16 运行 Kimi K2.5 宽 EP，在 8k/1k NVFP4 下峰值吞吐量从 4,021 提升至 12,587 tok/s/GPU