基准指标RPS
请求到达速率
也称为 request rate、arrival rate、RPS、每秒请求数
先用大白话
请求到达速率描述新请求进入系统的速度，不是正在运行的请求数，也不是已经完成的请求数。
技术定义
请求到达速率是单位时间内提交或发出的新请求数量，通常以每秒请求数表示。
常用单位
每秒请求数（requests/s）
工程细节
配置中的目标速率、客户端实际发送速率和服务器观察到的到达速率可能不同。网络延迟、客户端限制和背压都会影响请求投递。相同的平均速率既可能对应平稳流量，也可能包含短时突发；不同的 prompt 长度也会带来不同的工作量。
为什么重要
到达速率描述需求，请求吞吐量描述完成速度。如果需求持续超过处理能力，请求就会积压、失败或超时。只看完成吞吐量，会漏掉过载及其造成的延迟。
如何在 InferenceX 中解读
应结合序列长度、并发量和到达模型理解负载。AgentX 的客户端数量表示活跃会话数，各会话的请求受前序响应和工具等待影响，并不对应固定的每秒请求数。