基准指标

每兆瓦 token 吞吐量

也称为 tokens per megawatt、tokens/MW、功率归一化吞吐量

先用大白话

该指标衡量数据中心在固定电力额度下能产出多少 AI token。

技术定义

每兆瓦 token 吞吐量衡量推理产出相对于数据中心电力预算的效率。

常用单位

每单位配置市电兆瓦的 token/秒

InferenceX 使用全口径公用事业供电，而不只使用芯片 TDP。这个分母可包含为 IT 负载供电和制冷的开销，更适合设施级容量规划。

电力供应往往是新增 AI 部署的硬约束。每兆瓦生成更多 token 的系统，即使单个加速器功耗更高，也能在相同电力配额下服务更多需求。

Rubin 文章在相同 P90 交互性下比较每兆瓦市电容量对应的总 tok/s，且只在各引擎实测区间内插值。引用倍率时须保留引擎、精度、缓存和并行配置。配置的市电功率分母属于容量模型，与加速器实测功耗或能耗遥测不同。

参考资料

NVIDIA GB200 NVL72、AMD MI355X、每 GPU 吞吐量 Token、延迟 Tok/s/user、性价比、每百万 Token 成本、每配置兆瓦 Token 数、DeepSeek R1 670B、GPTOSS 120B、Llama3 70B

第0天推理性能、InferenceX、26天内性能提升100倍、每百万 token 成本、Huawei 950DT 推理 Trace 分析

Rubin 基于 LUT 的 Tensor Core、Feynman、机架级架构、每兆瓦性能、每美元性能、软件改进、Rubin 公开软件栈、PyTorch、vLLM、OpenAI Triton

OpenAI 自研 ASIC 对比 Rubin：Jalapeño 的 TCO、每兆瓦吞吐量，以及那些够辣的细节

Jensen 再次低估性能，每吉瓦年利润超过两倍，买得越多赚得越多，AgentX、InferenceX 与深度协同设计