基准指标TTFT
首 token 时间
也称为 time to first token、首字延迟
先用大白话
TTFT 就是发送提示词后，到看到答案第一个片段前的“思考中……”时间。
技术定义
首 token 时间（TTFT）是从提交请求到收到第一个生成 token 的时间。
常用单位
毫秒或秒
工程细节
TTFT 包含排队、提示词处理，以及解码开始前的路由或 KV 缓存传输。更长提示词通常增加预填充工作，系统过载也会在模型计算不变时增加排队时间。
为什么重要
用户会把 TTFT 感知为系统开始回答的速度。即使后续 token 流很快，只要排队或预填充等待过长，整体体验仍会显得迟缓。
如何在 InferenceX 中解读
应将 TTFT 与输入序列长度、并发量以及是否采用预填充/解码分离一起阅读，这些因素解释了为何解码速度相近的方案仍可能有不同启动时间。
参考资料