硬件MMA
矩阵乘累加
先用大白话
将矩阵分块相乘,并把乘积加入累加器的操作。
技术定义
矩阵乘累加(MMA)计算矩阵乘积并累加到输出 tile,支持的形状和数值格式由指令接口规定。
工程细节
Tensor core 指令在特定执行作用域内完成 MMA。输入格式、累加精度、操作数位置、tile 维度和独立在途操作数量都会影响吞吐量。较小形状可能无法用满运算路径,也可能花更多时间搬运操作数。
为什么重要
达到 tensor 峰值 FLOPs 需要合适的指令组合和足够独立工作。GEMM kernel 还要加载数据、同步 stage 和存储输出,因此指令吞吐量只是上限,不是完整 kernel 测量。
如何在 InferenceX 中解读
Blackwell 文章分别测量指令形状和队列深度。转载保留并注明原文公式的不一致,不能把其中不匹配的分母当作经过核验的计算。