AI 推理术语表

基准指标

Warp 占用率

先用大白话

SM 上驻留 warp 数相对于支持上限的比例,不表示运算单元有多忙。

技术定义

Warp 占用率是在 kernel 资源分配约束下,SM 的实际驻留 warp 数占其支持上限的比例。

工程细节

寄存器、shared memory、block 大小和架构限制共同约束驻留数量。已经驻留的 warp 仍可能等待内存、barrier 或依赖。提高占用率可能帮助隐藏延迟,但若为此削减寄存器或有效缓冲,也可能让 kernel 变慢。

为什么重要

占用率不同于指令发射效率,也不同于采样设备利用率。驻留 warp 多或设备利用率高,都不能证明 tensor core 已接近算力峰值。

如何在 InferenceX 中解读

Blackwell 文章讨论 copy 和注意力路径中的线程数与寄存器取舍。应结合在途字节数和实测 kernel 延迟理解这些选择,不能单独追求更高占用率。

在真实基准中理解这一概念

全部文章