AI 推理术语表

并行策略

Thread block cluster

也称为 CTA cluster、cooperative grid array、CGA、线程块集群

先用大白话

共同调度的一组 GPU thread block,可通过 cluster 作用域的机制协作。

技术定义

Thread block cluster 将 CUDA block,也称 CTA,组成一组,提供共同调度保证和受支持的 cluster 级同步及内存操作。

工程细节

在 Blackwell 文章讨论的架构上,同一 cluster 的 block 在同一 GPC 内调度。Cluster 维度影响放置、分布式 shared memory 访问和 multicast。较大 cluster 如果无法适配本地可用分组,可能留下闲置资源。

为什么重要

增大 cluster 可能增加数据复用,也会降低调度灵活性。Cluster 大小能整除整卡 SM 数,不代表每个 GPC 都能被充分使用。

如何在 InferenceX 中解读

Blackwell 文章讨论首选和回退 cluster 大小。应结合实际启用的 SM 分组及每个 block 的资源需求评估这些 launch 配置。

在真实基准中理解这一概念

全部文章