AI 推理术语表

硬件SM

流式多处理器

先用大白话

NVIDIA GPU 中调度 warp,并提供本地计算与存储资源的执行单元。

技术定义

流式多处理器(SM)是 NVIDIA GPU 的执行资源组,包含 warp 调度、寄存器、shared memory 和运算资源,细节随架构变化。

工程细节

驻留的 block 和 warp 共享这些资源。整卡峰值吞吐量汇总许多 SM,而指令测试可能只报告一个 SM。可用 SM 数和资源限制决定并发 block 数,但不能单独决定有效指令发射效率。

为什么重要

每 SM 的带宽或 FLOPs 不能直接与整卡数字比较。占用率、依赖、指令形状和启用硬件都会影响 kernel 使用标称容量的比例。

如何在 InferenceX 中解读

Blackwell 文章既报告每 SM 指令上限,也报告整卡传输结果。使用图中数据时,应明确分母和时钟口径。

在真实基准中理解这一概念

全部文章