AI 推理术语表

软件栈

CANN

先用大白话

Huawei 用于在 Ascend 硬件上编译和执行 AI 算子的基础软件栈。

技术定义

CANN 是 Ascend 的基础软件栈,提供神经网络执行所需的编程、编译、运行时和算子支持。

工程细节

框架后端能否工作,不只取决于编译器是否接受程序。算子、运行时接口、驱动和通信组件的版本及硬件支持必须匹配。Huawei 文章同时讨论 CANN 算子和通过 TileLang 等工具编写的 kernel。

为什么重要

比较两个编程前端时,如果没有说明底层运行时与算子路径,就可能把性能差异归因于错误的组件。能安装、计算正确和推理服务性能达标也是不同问题。

如何在 InferenceX 中解读

转载中的版本状态属于历史陈述。原文有关 CANN 和 HDK 的段落保留了不同撰稿时间的表述,不能用作当前版本选择指南。

在真实基准中理解这一概念

全部文章