AI 推理术语表

硬件MTE

内存传输引擎

先用大白话

在存储区域之间搬运数据的硬件,依赖允许时可与计算引擎并行工作。

技术定义

内存传输引擎负责在支持的存储层级之间搬运数据,通过同步机制保证消费者在传输完成后安全使用数据。

工程细节

Ascend 的传输路径连接内存和本地计算存储。布局、传输粒度、缓冲和资源争用都会影响有效带宽。只有数据依赖和可用存储允许足够多的独立工作时,异步传输才能与计算重叠。

为什么重要

矩阵引擎加速不能消除传输瓶颈。反过来,减少传输字节数即使不改变算力,也可能加速 kernel,前提是额外的转换或同步开销没有抵消这部分收益。

如何在 InferenceX 中解读

Huawei 文章讨论了针对 Ascend 传输资源的 KV 布局与调度。应比较传输量、可达带宽和完整 kernel 延迟,不能把所有收益都归因于 Cube 运算。

在真实基准中理解这一概念

全部文章