AI 推理术语表
硬件

Twisted torus(扭转环面)

也称为 twisted torus、扭转 torus、twisted 3D torus、Mobius torus

先用大白话

Twisted torus 是把 wraparound 链路错位连接的 torus 网络,像莫比乌斯带一样,进一步减少芯片之间的平均跳数。

技术定义

Twisted torus 是一种 torus 拓扑,其一个或多个维度上的 wraparound 连接不是把一行直接接回自身,而是错位接到相邻行,从而在同等规模下比普通 torus 拥有更低的平均跳数和最坏跳数。

工程细节

普通 torus 把每一行的两端连接起来,把直线变成环,最坏距离从 N 减半到 N/2。Twisted torus 把 wraparound 错开,让一行连到另一侧的相邻行,流量分散到更多路径,平均距离再次下降。Google 在 TPU pod 中使用这一变体:pod 由 4x4x4 共 64 颗芯片的立方体组成,再通过光电路交换机拼接,并在整个 pod 范围内保留 wraparound 特性。

为什么重要

跳数决定小集合通信消息的延迟,扭转在不增加硬件的情况下换来几个百分点的延迟收益。TPU 8i 的 Boardfly 拓扑走得更远,直接放弃 torus,改用高基数层次化网络,把 1,024 到 1,152 颗芯片规模下的网络直径从约 16 跳降到约 7 跳。

如何在 InferenceX 中解读

TPU InferenceX 预览指出,对小尺寸专家并行消息,TPU torus 在很多情况下延迟低于单跳 NVSwitch,详细结果留给 CollectiveX 和 NetworkingX 测试线。