吞吐量
也称为 throughput、token 吞吐量、总吞吐量
先用大白话
吞吐量就是整个系统每秒一共能完成多少工作。
技术定义
吞吐量是系统处理各请求中 token 的速率。输出吞吐量只计生成的 token；总 token 吞吐量则按基准测试规定的统计口径，计入输入和输出 token。
常用单位
tok/s/chip
工程细节
InferenceX 通常使用每芯片每秒 token 数进行归一化，便于比较不同规模的系统。提高批大小或并发往往能摊薄权重读取和计算成本，从而提高总吞吐量，但单个用户收到 token 的速度可能下降。
为什么重要
最大吞吐量不是完整的性能结论。某个点即使拥有最高 tok/s，也可能因为交互性过低而不适合实时产品；有效比较应在符合业务需求的延迟或交互性目标下进行。
如何在 InferenceX 中解读
InferenceX 将吞吐量与交互性放在完整并发扫描中共同展示。Rubin AgentX 文章报告的是包含复用输入在内的总 token 吞吐量，不只是新生成的输出。因此，与只统计输出的结果比较前，必须先核对 token 口径。
参考资料
在真实基准中理解这一概念
InferenceMAX：开源推理基准测试
NVIDIA GB200 NVL72、AMD MI355X、每 GPU 吞吐量 Token、延迟 Tok/s/user、性价比、每百万 Token 成本、每配置兆瓦 Token 数、DeepSeek R1 670B、GPTOSS 120B、Llama3 70B
InferenceX v2：NVIDIA Blackwell 对决 AMD 与 Hopper — 前身为 InferenceMAX
GB300 NVL72、MI355X、B200、H100、分离式推理、宽专家并行、大规模混合专家、SGLang、vLLM、TRTLLM
SGLang 0.5.6 在 B200 DeepSeek R1 FP4 上的表现：低并发下最高提升 1.8 倍
针对 DeepSeek V3 的分段 CUDA graph、统一事件循环和 JIT 内核将 8k/1k 吞吐量从 508 提升至 907 tok/s/GPU，使用相同的 16 GPU B200 资源池
Rubin NVL72 Agentic 推理：每美元性能提升至 67 倍
Jensen 再次低估性能，每吉瓦年利润超过两倍，买得越多赚得越多，AgentX、InferenceX 与深度协同设计