AI 推理术语表
硬件D2D

Die-to-die 链路

也称为 die-to-die link、D2D 链路、片内链路、inter-die link

先用大白话

Die-to-die 链路连接同一封装内的两个计算 die,速度快于芯片之间的网络,但两个 die 不共享内存空间。

技术定义

Die-to-die 链路是 Ironwood 封装内连接两个计算 die 的高带宽互连,让每个 die 作为独立逻辑设备运行,同时以快于芯片间 ICI 网络的速度交换数据。

工程细节

Ironwood 每个封装内有两个 die,各自带有 TensorCore、HBM 和 SparseCore。Die-to-die 链路在两者之间传输数据,不经过 ICI。因为这条链路比 ICI 快,集合通信被组织成层次结构:先在芯片内归约,再在芯片之间交换部分和。GPU 上也有类似思路,Blackwell 用 NV-HBI 连接两个 die,但 Blackwell 对外呈现为一个设备,Ironwood 呈现为两个。

为什么重要

两级集合通信让 kernel 可以把一个 microbatch 的快速片内阶段与另一个 microbatch 的慢速片间阶段重叠。在 Ironwood 的 ReduceScatter kernel 中,microbatch 1 的片内 DMA ScatterReduce 与 microbatch 0 沿 ICI 维度的 ScatterReduce 并发执行,缩短了集合通信的端到端时间。

如何在 InferenceX 中解读

使用 die-to-die 链路的 SparseCore ReduceScatter 是 DP attention 加 EP8 服务配置的一部分,该配置产出了 InferenceX Official Preview 中的 Qwen3.5 397B 结果。Google 把每芯片双设备布局作为相对 MegaCore 的设计变化来报告,而不是单独的基准测试项。