基准指标
排队延迟
也称为 queueing latency、queue latency、排队时间、调度等待时间
先用大白话
排队延迟是请求等待可用资源、尚未被服务系统调度执行的时间。
技术定义
排队延迟衡量请求进入指定准入或调度队列后，直到被选中执行之前的等待时长。
常用单位
排队等待的毫秒数或秒数
工程细节
前端等待、引擎准入以及后续调度停顿可能采用不同的计时边界，引用指标时应说明它覆盖哪个区间。客户端观察到的 TTFT 还包含网络传输、prompt 处理和首个 token 的生成时间，因此不能单靠 TTFT 分离出排队时间。
为什么重要
接近饱和时，即使 kernel 运行速度不变，等待也可能成为响应延迟的主要来源。加速 prefill 不一定能解决队列过载；准入策略、请求组成和可用容量同样影响等待时间。
如何在 InferenceX 中解读
分析不同并发点的 TTFT 变化时，应结合队列深度及可用的服务端计时指标。不能从客户端 TTFT 中减去一个无关的 prefill 估计值，就把余下部分报告为实测排队延迟。