基准指标
延迟
也称为 latency、响应延迟、推理延迟
先用大白话
延迟就是需要等待多久；流式回答既有开始前的等待，也有后续文字之间的停顿。
技术定义
延迟是请求经历的时间；在流式 LLM 服务中，应区分首 token 等待时间与后续 token 间隔。
工程细节
首 token 时间包含排队和预填充，单 token 输出时间反映解码节奏。端到端延迟还受输出长度影响，因此一个汇总数字可能掩盖用户真正感知到的环节。
为什么重要
降低延迟通常需要更小批次或更多并行资源，这可能降低硬件利用率并提高成本。好的服务设计会先确定延迟服务等级，再在该约束内最大化吞吐量。
如何在 InferenceX 中解读
InferenceX 强调解码交互性，并公开工作负载形状与并发量，避免把高吞吐批处理点误读为低延迟服务点。
参考资料