软件栈
Kernel launch 开销
也称为 kernel launch overhead、launch latency、kernel 派发开销、launch-bound execution
先用大白话
Kernel launch 开销是向设备派发操作所需的工作；算子很短时，派发间隙可能占据 decode 步骤中的相当一部分时间。
技术定义
Kernel launch 开销包括主机和运行时提交设备任务的成本，以及派发过程在有效设备操作之间引入的延迟。
工程细节
CPU 侧的 launch 耗时不直接等于加速器空闲时间，因为派发与执行可能重叠。时间线需要区分提交工作、同步、依赖停顿和实际的设备空闲间隙。图重放与融合减少的是不同部分的开销，两者都不会免去启动任务的需要，也不会让内存传输和集合通信变得免费。
为什么重要
低 batch decode 即使运行在峰值算力很高的设备上，也可能受 launch 限制。仅凭 launch 数量不能推导加速比：剩余 kernel 可能更慢，关键路径也可能转移到内存或通信。
如何在 InferenceX 中解读
TPU 文章对比了常规 decode 与 megakernel，并引用 AMD 减少 launch 次数的结果。该次数和加速比属于指定模型与测试配置，不能据此建立 launch 数量与每秒 token 数之间的通用换算关系。