基准指标ICL
流式 chunk 间延迟
也称为 inter-chunk latency、ICL、流式消息间隔、chunk 到达间隔
先用大白话
流式 chunk 间延迟衡量相邻消息到达客户端之间的停顿；一条消息可能包含多个 token。
技术定义
流式 chunk 间延迟是客户端收到相邻两条符合统计条件的响应 chunk 之间的时间差。
计算关系
chunk 间隔 = 当前 chunk 到达时间 - 前一 chunk 到达时间
工程细节
服务器可能把多个已生成 token 缓冲到同一个 chunk，尤其是在投机解码或设置流式发送间隔时。因此，chunk 到达间隔不同于按 token 数归一化的解码延迟。即使平均 TPOT 很低，用户仍可能看到文本成批出现，中间夹着较长停顿。
为什么重要
chunk 计时描述客户端看到的输出平滑程度，既受服务端调度影响，也包含缓冲与传输的效果。chunk 间隔的分位数和逐请求平均 token 延迟的分位数对应不同样本，不能使用同一个指标名称。
如何在 InferenceX 中解读
应把基于 chunk 的计时与所选 InferenceX 交互性指标分开。比较不同引擎或投机配置的流式结果前，先检查基准客户端对内容 chunk 的筛选规则和 token 计数口径。