软件栈
Decode megakernel
也称为 megakernel、整模型融合 kernel、MonoKernel
先用大白话
Decode megakernel 把多个模型层中的操作合并为长时间运行的设备程序，减少 launch 间隙，并让权重传输与计算重叠。
技术定义
Decode megakernel 跨算子或跨层融合模型前向计算中的较大部分，显式安排计算、数据搬运，有时也包括集合通信。
工程细节
常规执行会分别为注意力、投影、专家路由等操作启动许多 kernel。Megakernel 可以在计算当前层时预取下一层权重。不同实现的融合范围不同；这个名称并不保证所有算子、通信步骤或请求都在一次 launch 中完成。引擎调度和前缀缓存管理仍可位于融合后的前向路径之外。
为什么重要
低并发时，短算子之间的 launch 间隙可能让加速器空闲。减少这些间隙能提高交互速度，但长上下文注意力、prefill、缓存传输和高并发吞吐量仍需单独测量。
如何在 InferenceX 中解读
2026 年 11 月的 TPU AgentX 文章介绍了 SGLang、vLLM 的 megakernel 路径和 AMD 的 MonoKernel。Inferact 将融合前向路径接入 vLLM 的调度及 KV 传输系统；这些结果不意味着整个推理服务只有一个 kernel。