硬件
双 SM MMA
也称为 2SM MMA、cta_group::2
先用大白话
Blackwell 中由一对协作 block 联合使用两个 SM 的矩阵指令模式。
技术定义
双 SM MMA 是 Blackwell 的 tensor core 执行模式,由一对协作 CTA 跨两个 SM 完成矩阵乘累加。
工程细节
相比单 SM 操作,更大的执行作用域支持不同指令形状和数据共享方式。评估扩展性必须同时考虑增加的计算资源和完成的工作量。操作数布局及 shared memory 流量,也可能与算力一起改变瓶颈。
为什么重要
用两个 SM 获得两倍吞吐量,不等于每 SM 效率提高两倍。特定形状下超过这一比例的收益,可能来自单 SM 内存瓶颈被缓解。
如何在 InferenceX 中解读
Blackwell 文章区分 SS 与 TS 布局,并报告形状相关的扩展性。引用结果时应保留这些条件,不能把最高倍数当作通用 kernel 或推理加速比。