基准指标
请求吞吐量
也称为 request throughput、请求完成速率、每秒完成请求数
先用大白话
请求吞吐量统计每秒完成多少个请求，token 吞吐量则统计同一时间内系统生成了多少文本。
技术定义
请求吞吐量是指定测量窗口内成功完成的请求数除以该窗口的持续时间。
计算关系
请求吞吐量 = 成功完成的请求数 / 测量时长（秒）
工程细节
短响应和长响应都各算一个完成请求。因此，即使 token 吞吐量相近，请求组成变化也会改变完成速率。应说明失败、超时、warmup 以及跨越测量边界的请求如何计数，不同窗口规则会改变结果。
为什么重要
更高的完成速率可能只是因为请求更短，并不一定说明系统更快；它也不能证明完成的请求满足延迟目标。有效吞吐量会进一步要求被计入的工作满足明确的服务水平条件。
如何在 InferenceX 中解读
InferenceX 吞吐量曲线主要比较 token 速率，坐标轴会标明所选归一化方式。不要把每秒 token 数改称每秒请求数，也不要把已完成的 AgentX 请求数当作已完成的智能体会话数。