并行策略DP
数据并行
也称为 data parallelism、DP
先用大白话
数据并行复制多份相同模型并分摊请求，就像多开几条相同的收银通道。
技术定义
数据并行（DP）在多个 rank 上运行复制的模型或层组，并把请求或 token 分配给这些副本。
工程细节
传统 DP 复制完整模型；LLM 服务也会使用 DP attention 等混合形式，让注意力复制而专家权重采用另一种分片。每个副本处理独立工作，逐层同步少于 TP。
为什么重要
权重能放入内存时，DP 可直接扩展总容量，但复制会消耗内存并重复权重读取；负载均衡与缓存局部性决定副本利用是否均匀。
如何在 InferenceX 中解读
InferenceX 中的 DP 数必须结合 TP 和 EP 解读，因为现代 MoE 部署通常同时组合三种维度。
参考资料
在真实基准中理解这一概念
InferenceX v2：NVIDIA Blackwell 对决 AMD 与 Hopper — 前身为 InferenceMAX
GB300 NVL72、MI355X、B200、H100、分离式推理、宽专家并行、大规模混合专家、SGLang、vLLM、TRTLLM
MI355X 上 DeepSeek-V4-Pro 搭配 SGLang：26 天内每 GPU 吞吐量提升 110.5 倍
amd/deepseek_v4 分支合入了 TileLang 注意力索引器、Triton 稀疏 MLA、融合 RoPE/Hadamard、FlyDSL MoE 以及 FP4 权重，历经 31 个性能优化 PR——将首次点亮时 20 tok/s/GPU、2.4 tok/s/user 的水平提升至 8K/1K 负载下 2,256 tok/s/GPU、9.4 tok/s/user，吞吐量与交互性同步攀升
GB200 NVL72 vs B200 Kimi K2.5 推理对比：宽 EP vLLM 带来 3.1 倍提升
NVL72 的机架级 NVLink 使 Dynamo vLLM 能够以最高 Decode EP 16 运行 Kimi K2.5 宽 EP，在 8k/1k NVFP4 下峰值吞吐量从 4,021 提升至 12,587 tok/s/GPU