硬件TMEM
Tensor memory
先用大白话
Blackwell tensor core 使用的存储资源，与普通寄存器和 shared memory 编程模型不同。
技术定义
Tensor memory（TMEM）是 Blackwell 第五代 tensor core 操作使用的存储资源，可用于存放 MMA 累加器。
工程细节
软件通过受支持的指令接口显式管理分配和访问。文章比较了两个输入都在 shared memory 的布局与一个输入在 TMEM 的布局。改变存放位置可能减轻某条数据路径的压力，但收益取决于指令形状和同步。
为什么重要
累加器存放位置会改变 kernel 设计与资源核算。TMEM 容量不能用普通 HBM 容量替代，其访问规则也不能按每线程寄存器理解。
如何在 InferenceX 中解读
Blackwell 文章的 SS、TS 对比针对特定 MMA 形状隔离了操作数位置的影响，不能证明把任意张量移入 TMEM 都能加速完整模型。