并行策略TP
张量并行
也称为 tensor parallelism、TP
先用大白话
张量并行把一次大型计算拆给多张 GPU，让它们共同完成。
技术定义
张量并行（TP）把单个张量运算和模型权重矩阵切分到多个加速器上。
工程细节
每一层由多个 rank 协同执行，部分结果需要通过集体通信合并，常见方式是在并行矩阵乘之后执行 all-reduce。
为什么重要
TP 能让模型跨设备容纳，并在小批次下汇聚算力与内存带宽以提高交互性；但通信发生频繁，扩展最终受互连带宽和延迟限制。
如何在 InferenceX 中解读
InferenceX 方案中的 TP=4 或 TP=8 表示张量并行组的 rank 数。应与 EP、DP、节点数和网络域一起比较。
参考资料
在真实基准中理解这一概念
InferenceX v2：NVIDIA Blackwell 对决 AMD 与 Hopper — 前身为 InferenceMAX
GB300 NVL72、MI355X、B200、H100、分离式推理、宽专家并行、大规模混合专家、SGLang、vLLM、TRTLLM
SGLang 0.5.6 在 B200 DeepSeek R1 FP4 上的表现：低并发下最高提升 1.8 倍
针对 DeepSeek V3 的分段 CUDA graph、统一事件循环和 JIT 内核将 8k/1k 吞吐量从 508 提升至 907 tok/s/GPU，使用相同的 16 GPU B200 资源池
AMD MI355X Qwen3.5 397B-A17B 推理：SGLang FP8 三个月内每 GPU 吞吐量提升最高 19 倍
从 v0.5.8（2 月）→ v0.5.10rc0（4 月）→ v0.5.12（5 月），三次 AITER 内核合入 MI355X 加上从 TP=8 到 TP=2/TP=4 的重新调优，将 Qwen3.5 8k/1k 峰值从 1.3k 推高至 6.4k tok/s/GPU，并将曲线延伸至 75 tok/s/user