并行策略PCP
Prefill 上下文并行
也称为 PCP、prefill context parallelism、prefill 序列切分
先用大白话
Prefill 上下文并行把长 prompt 的新增 token 计算分给多个 rank，不让一个加速器独自处理整条 prompt。
技术定义
Prefill 上下文并行把 prompt 的 query-token 计算分配到多个 rank，并交换保持模型注意力语义所需的 key 和 value。
工程细节
一种实现让每个 rank 持有一段 query，并 gather 所需的 key 和 value；另一种让 KV 分块循环传递，避免每个 rank 都保存完整历史。因果注意力中，靠后的 query 能看到更多 token，因此还需要均衡负载。PCP 的计算分工与 DCP 的 KV 存储分工有关，但并不相同，可用组合随引擎和模型而变。
为什么重要
PCP 可以缩短长 prompt 的处理时间，但额外通信、权重复制或不同并行布局也可能占用原本留给 KV 状态的容量。Prefill 延迟最低的方案，不一定是端到端推理服务的最佳配置。
如何在 InferenceX 中解读
TPU 文章的 Kimi K3 部分解释了为何该配置在 prefill 中选择 DCP 分片缓存，而没有采用另一种 PCP 配置。这是具体配置下的内存取舍，不是 PCP 与 DCP 永远不能组合使用的规则。