硬件DSMEM
分布式 shared memory
先用大白话
让同一 GPU cluster 内的 thread block 访问彼此的 shared memory。
技术定义
分布式 shared memory（DSMEM）允许 thread block cluster 中的协作 block 寻址其他 block 的 shared memory 区域。
工程细节
远端访问必须遵守 cluster 同步和生命周期规则。虽然使用 shared memory 地址，其指令路径和性能仍不同于本地访问。传输大小、访问合并和所选指令都会影响吞吐量及延迟。
为什么重要
DSMEM 可支持跨 block 协作，不必让每个中间结果都经过 global memory。但不能把它视为一个免费扩大的存储池，更不能默认其带宽等于本地 shared memory。
如何在 InferenceX 中解读
Blackwell 文章对比本地 LDS、cluster 作用域访问和 bulk copy。远端带宽较低不能证明 HBM 是瓶颈，因为这里测试的是 cluster 内的内存路径。