AI 推理术语表
软件栈

ATOM

也称为 ATOM、AMD ATOM、ATOMesh

先用大白话

ATOM 是 AMD 自研的推理引擎,是它在厂商专用运行时这条路线上的答案,而非上游开源引擎。

技术定义

ATOM 是 AMD 面向 Instinct 加速器的推理引擎,与 ROCm 上的上游 vLLM、SGLang 并列,定位为厂商自有运行时。

工程细节

它对 AMD 的意义,与厂商运行时对 NVIDIA 的意义相同:针对自家硬件调优,且可以跑在上游引擎前面。它的 router 名为 ATOMesh,最初是 SGLang router 的一个分支。该引擎最初面向单轮服务设计,因此支持长上下文多轮场景需要对其缓存管理器和 kernel 做大量改造。

为什么重要

厂商引擎可以在开源栈跟上之前展示硬件的能力上限,这既是有价值的证据,也是不便直接照搬的建议。多数实验室部署的是上游引擎,因此只在厂商运行时下成立的结果,并不能代表这些用户实际拿到的性能。

如何在 InferenceX 中解读

InferenceX 把 ATOM 作为独立的框架标签,避免与同一加速器上的 vLLM 或 SGLang 结果混为一谈。想知道硬件能做到什么,就拿它与其他厂商运行时比较;想知道客户今天能部署什么,就拿它与上游引擎比较。