软件栈
DeepEP
先用大白话
DeepSeek 的专家并行通信库系列,用于向专家分发 token 并合并输出。
技术定义
DeepEP 实现混合专家模型的 dispatch 和 combine 通信路径,不同后端支持不同硬件与传输机制。
工程细节
Dispatch 把 token 数据发到承载所选专家的设备,combine 则返回并聚合输出。消息分布取决于路由、batch、专家放置和拓扑。通信可以与其他工作重叠,也可能占用计算 kernel 所需的资源。
为什么重要
通信微基准测试较快,不保证模型按相同比例加速。路由不均、执行依赖和资源争用决定多少通信仍位于关键路径上。
如何在 InferenceX 中解读
Huawei 文章比较 dispatch、combine 测量,并讨论 Ascend 通信重叠。引用时应保留硬件和配置条件,同时区分 Ascend 实现与其他 DeepEP 后端。