AI 推理术语表

硬件

Cube 与 vector 核心

先用大白话

Ascend 分别执行矩阵和向量运算的资源,需要协调数据搬运与执行依赖。

技术定义

Cube 引擎负责矩阵类运算,vector 引擎处理逐元素变换、归约,以及注意力或量化中的部分操作。

工程细节

一个 kernel 可以同时协调两条执行路径,并在各自的存储资源之间传递中间结果。MIX_AIC、MIX_AIV 等标签表示运行时任务类型,不能证明整个任务耗时都独占某一种物理执行单元。

为什么重要

增加矩阵吞吐量,未必会减少向量计算、通信或依赖传输的耗时。多个重叠 stream 的 kernel 耗时之和,不能直接换算成物理 Cube 或 vector 利用率。

如何在 InferenceX 中解读

Huawei 文章中的 Cube 吞吐量提升假设保持实测重叠关系不变。这是按耗时组成推演的情景,不是对未来芯片的预测,也不是独占硬件资源的利用率测量。

在真实基准中理解这一概念

全部文章