硬件MTE
内存传输引擎
先用大白话
在存储区域之间搬运数据的硬件,依赖允许时可与计算引擎并行工作。
技术定义
内存传输引擎负责在支持的存储层级之间搬运数据,通过同步机制保证消费者在传输完成后安全使用数据。
工程细节
Ascend 的传输路径连接内存和本地计算存储。布局、传输粒度、缓冲和资源争用都会影响有效带宽。只有数据依赖和可用存储允许足够多的独立工作时,异步传输才能与计算重叠。
为什么重要
矩阵引擎加速不能消除传输瓶颈。反过来,减少传输字节数即使不改变算力,也可能加速 kernel,前提是额外的转换或同步开销没有抵消这部分收益。
如何在 InferenceX 中解读
Huawei 文章讨论了针对 Ascend 传输资源的 KV 布局与调度。应比较传输量、可达带宽和完整 kernel 延迟,不能把所有收益都归因于 Cube 运算。