AI 推理术语表

软件栈

TileLang

先用大白话

以分块方式表达计算,并通过不同后端生成加速器专用执行代码的 kernel 编程语言。

技术定义

TileLang 是用于编写分块 kernel 的语言及编译框架,后端支持决定可用硬件指令和调度机制。

工程细节

分块编程以数据块而非单个标量表达计算和数据搬运。编译器可以管理部分缓冲与调度,但具体程序能否高效执行,仍取决于后端成熟度、布局和算子覆盖。

为什么重要

共用前端不保证不同厂商的生成代码、功能支持或性能一致。有效比较必须注明后端版本和实际 kernel 形状,不能只看语言名称。

如何在 InferenceX 中解读

Huawei 文章在 warm cache 条件下比较 TileLang、CANN 和 Triton-Ascend。这些算子测试不能证明冷内存带宽或端到端推理加速比。

在真实基准中理解这一概念

全部文章