推理服务
Decode 准入控制
也称为 decode admission control、decode 并发上限、decode 请求限制
先用大白话
Decode 准入控制限制进入 decode worker 的请求数，在已接纳请求的生成速度与排队请求的等待时间之间取舍。
技术定义
Decode 准入控制决定何时允许请求占用 decode worker 的活跃处理容量，通常依据请求数或资源上限。
工程细节
请求可能在路由器或引擎中等待，直到合适的 worker 有空位。较低上限可减小活跃 batch、提高单用户生成速度；较高上限则可能借助批处理提高吞吐量。队列所在位置决定等待时间计入哪个延迟区间。路由器的准入上限与客户端并发量不同，也不等于物理 KV 内存上限。
为什么重要
请求在 worker 外排队时，即使 decode 曲线很快，首 token 仍可能很慢。应在相同到达负载下，结合排队、TTFT、端到端延迟和完成的工作量评估准入策略。
如何在 InferenceX 中解读
TPU 文章中的 llm-d Qwen3.5 对比调整了每个 decode 主机可接纳的请求数，并明确讨论由此产生的 TTFT 与端到端取舍。因此，decode 最快的点不应被当作完整响应最快的点。