硬件
AICPU
先用大白话
Ascend 设备上的辅助 CPU 资源,可执行矩阵和向量引擎之外的工作。
技术定义
AICPU 指 Ascend 设备的辅助 CPU 执行资源,既不同于主机 CPU,也不同于主要 AI 计算引擎。
工程细节
部分控制逻辑或算子可以在这些资源上执行。把工作从主机转移过来,会改变提交、同步和数据访问成本,但不会让辅助 CPU 具备矩阵引擎的功能。执行位置必须结合具体操作和运行时路径判断。
为什么重要
算子较慢可能是执行位置造成的,不一定反映加速器的矩阵吞吐量。提出 kernel 优化前,应在 profile 中区分主机执行、辅助 CPU 任务和主要设备引擎。
如何在 InferenceX 中解读
Huawei 文章对比了 AICPU 与主机 CPU 的算子耗时。测得的关系只适用于该操作和配置,不能推广到所有工作负载或所有主机 CPU。