AI 推理术语表

软件栈

DeepEP

先用大白话

DeepSeek 的专家并行通信库系列,用于向专家分发 token 并合并输出。

技术定义

DeepEP 实现混合专家模型的 dispatch 和 combine 通信路径,不同后端支持不同硬件与传输机制。

工程细节

Dispatch 把 token 数据发到承载所选专家的设备,combine 则返回并聚合输出。消息分布取决于路由、batch、专家放置和拓扑。通信可以与其他工作重叠,也可能占用计算 kernel 所需的资源。

为什么重要

通信微基准测试较快,不保证模型按相同比例加速。路由不均、执行依赖和资源争用决定多少通信仍位于关键路径上。

如何在 InferenceX 中解读

Huawei 文章比较 dispatch、combine 测量,并讨论 Ascend 通信重叠。引用时应保留硬件和配置条件,同时区分 Ascend 实现与其他 DeepEP 后端。

在真实基准中理解这一概念

全部文章