软件栈
异步 copy
也称为 async copy、cp.async、LDGSTS
先用大白话
传输期间允许独立计算继续执行,消费者使用结果前仍须同步。
技术定义
异步 copy 将发起传输与等待完成分开,允许两者之间执行不依赖该传输的操作。
工程细节
Blackwell 文章重点测试 cp.async 的 global-to-shared 路径,它不需要通过普通寄存器暂存数据。线程数、load 宽度、流水 stage 和在途字节数决定资源需求。读取目标数据前,仍须通过 barrier 或完成机制保证安全。
为什么重要
异步提交不保证传输一定重叠,也不保证带宽更高。消费者依赖、缓冲不足或内存流水线拥塞,仍可能使执行串行,甚至让增加 stage 适得其反。
如何在 InferenceX 中解读
比较 LDGSTS 与 TMA 时,应使用等价数据并说明配置。文章中的延迟和吞吐量是不同指标,不能据此给所有 copy 机制排出通用优劣顺序。