AI 推理术语表

硬件MMA

矩阵乘累加

先用大白话

将矩阵分块相乘,并把乘积加入累加器的操作。

技术定义

矩阵乘累加(MMA)计算矩阵乘积并累加到输出 tile,支持的形状和数值格式由指令接口规定。

工程细节

Tensor core 指令在特定执行作用域内完成 MMA。输入格式、累加精度、操作数位置、tile 维度和独立在途操作数量都会影响吞吐量。较小形状可能无法用满运算路径,也可能花更多时间搬运操作数。

为什么重要

达到 tensor 峰值 FLOPs 需要合适的指令组合和足够独立工作。GEMM kernel 还要加载数据、同步 stage 和存储输出,因此指令吞吐量只是上限,不是完整 kernel 测量。

如何在 InferenceX 中解读

Blackwell 文章分别测量指令形状和队列深度。转载保留并注明原文公式的不一致,不能把其中不匹配的分母当作经过核验的计算。

在真实基准中理解这一概念

全部文章