AI 推理术语表
硬件OCS

光电路交换机

也称为 OCS、optical circuit switch、光交换、MEMS 光交换机

先用大白话

光电路交换机用微小的反射镜在光纤之间改变光路,让 Google 不碰一根线缆就能重新布线 TPU pod。

技术定义

光电路交换机(OCS)用可动反射镜在光纤端口之间转向光信号,建立可重新配置的点对点链路,不做光电转换,也不检查数据包。

工程细节

Google 用 OCS 把 4x4x4 的 TPU 立方体拼接成更大的 pod,并在整个拓扑中保留 torus 的 wraparound 链路。由于交换机只是改变光路而不路由数据包,它几乎不增加延迟,没有逐包处理开销,且可以通过软件重新配置。Ironwood pod 以此方式扩展到 9,216 颗芯片的 superpod,聚合算力达到 42.5 FP8 exaflops。同一机制还允许运营方把 pod 切成任意形状的小片给不同任务使用。

为什么重要

运维上的收益是容错。芯片或链路故障时,移动反射镜几秒内就能绕开,不需要派技术人员到运行中的数据中心重新熔接铜缆。可重配置也意味着物理 pod 不决定逻辑拓扑,任务可以申请自己想要的 torus 维度。

如何在 InferenceX 中解读

OCS 是 InferenceX 按 pod 内每芯片而非固定机柜单元报告 TPU 结果的原因。Official Preview 比较的是 TPUv7 聚合服务与 B200、B300 节点,pod 级分离式服务与 NVL72 的对比留待后续文章。