基准指标
请求队列深度
也称为 request queue depth、等待请求数、待处理请求数、调度队列
先用大白话
队列深度统计等待服务的请求数；即使加速器一直在生成 token，等待队列也可能持续增长。
技术定义
请求队列深度是某一时刻在指定调度或准入边界等待处理的请求数量。
常用单位
采样边界处的等待请求数
工程细节
前端、路由器和推理引擎可能各自维护队列。服务器导出的等待请求数仅描述其自身边界，不代表客户端所有未完成请求。请求可能在等待计算资源、可用 KV cache 块或合适的 batch。采样得到的队列深度是瞬时数量，不是等待时长。
为什么重要
队列增长可以解释 prefill kernel 速度未变时 TTFT 为何升高。短时尖峰可能来自子智能体突发请求，持续增长则可能意味着到达速率超过系统接纳工作的能力。
如何在 InferenceX 中解读
AgentX 数据点详情会在有数据时展示请求队列深度。应同时查看运行中的请求数、KV cache 利用率和吞吐量；跨服务栈比较前，先确认指标由哪个引擎导出。