并行策略DCP
Decode 上下文并行
也称为 DCP、decode context parallelism、KV 序列切分
先用大白话
Decode 上下文并行把一条序列的 KV cache 分散到多个 rank，每个 rank 读取部分历史，再合并各自的注意力结果。
技术定义
Decode 上下文并行沿序列维度切分注意力 KV 状态，并跨参与 rank 合并局部注意力输出及其归一化统计量。
工程细节
当张量并行的 rank 数超过可独立切分的 KV head 数时，这种方式能减少 KV 重复存储，对 MLA 的共享 latent cache 尤其有用。每个 rank 对自己的 token 分片计算注意力，再通过数值正确的归并得到完整结果。名称反映常见优化目标，并非限定只能用于 decode；实现也可以在 prefill 中使用同一套分片缓存。
为什么重要
切分能增加有效 KV 容量并分摊缓存读取，但也带来通信与归并开销。最合适的并行度取决于上下文长度、注意力结构、拓扑，以及引擎支持的张量并行和 prefill 上下文并行组合。
如何在 InferenceX 中解读
TPU AgentX 文章介绍了 GLM 和 Kimi K3 的 DCP。K3 在 prefill 阶段也采用分片布局，因此不能看到 DCP 标签就认定 prefill 缓存在各 rank 上完整复制。应比较实际 rank 分组与缓存布局，而不只看缩写。