AI 推理术语表

硬件

双 SM MMA

也称为 2SM MMA、cta_group::2

先用大白话

Blackwell 中由一对协作 block 联合使用两个 SM 的矩阵指令模式。

技术定义

双 SM MMA 是 Blackwell 的 tensor core 执行模式,由一对协作 CTA 跨两个 SM 完成矩阵乘累加。

工程细节

相比单 SM 操作,更大的执行作用域支持不同指令形状和数据共享方式。评估扩展性必须同时考虑增加的计算资源和完成的工作量。操作数布局及 shared memory 流量,也可能与算力一起改变瓶颈。

为什么重要

用两个 SM 获得两倍吞吐量,不等于每 SM 效率提高两倍。特定形状下超过这一比例的收益,可能来自单 SM 内存瓶颈被缓解。

如何在 InferenceX 中解读

Blackwell 文章区分 SS 与 TS 布局,并报告形状相关的扩展性。引用结果时应保留这些条件,不能把最高倍数当作通用 kernel 或推理加速比。

在真实基准中理解这一概念

全部文章