AI 推理术语表

硬件

AICPU

先用大白话

Ascend 设备上的辅助 CPU 资源,可执行矩阵和向量引擎之外的工作。

技术定义

AICPU 指 Ascend 设备的辅助 CPU 执行资源,既不同于主机 CPU,也不同于主要 AI 计算引擎。

工程细节

部分控制逻辑或算子可以在这些资源上执行。把工作从主机转移过来,会改变提交、同步和数据访问成本,但不会让辅助 CPU 具备矩阵引擎的功能。执行位置必须结合具体操作和运行时路径判断。

为什么重要

算子较慢可能是执行位置造成的,不一定反映加速器的矩阵吞吐量。提出 kernel 优化前,应在 profile 中区分主机执行、辅助 CPU 任务和主要设备引擎。

如何在 InferenceX 中解读

Huawei 文章对比了 AICPU 与主机 CPU 的算子耗时。测得的关系只适用于该操作和配置,不能推广到所有工作负载或所有主机 CPU。

在真实基准中理解这一概念

全部文章