并行策略
All-reduce
也称为 全归约
先用大白话
All-reduce 让每张 GPU 完成一部分计算，再合并结果并把完整答案发回所有 GPU。
技术定义
All-reduce 是一种集体通信操作：合并所有参与 rank 的值，并把归约结果返回给每个 rank。
工程细节
张量并行层使用 all-reduce 组合部分矩阵运算结果。集体操作可通过针对环、树或特定网络优化的算法完成求和等归约。
为什么重要
TP 可能在许多层、每个生成 token 上执行通信，因此 all-reduce 延迟和带宽会形成硬扩展上限；小解码批次对固定通信延迟尤其敏感。
如何在 InferenceX 中解读
更高 TP 宽度增加计算与内存带宽，也扩大通信组。实测结果必须证明互连没有让更大的组得不偿失。