基准指标
开环基准测试
也称为 open-loop benchmark、开环负载测试、按到达时间驱动的负载
先用大白话
开环基准测试按预定规则发送新请求,不等待先前请求完成,因此能观察请求到达速度超过服务能力时的表现。
技术定义
开环基准测试根据外部设定的速率或时间戳序列安排请求到达,而不是等待每个客户端的上一条响应。
工程细节
请求可以等间隔到达,也可以按概率分布生成,或按记录的时间戳回放。服务变慢时,外部负载仍可持续到达,队列随之增长。客户端并发上限或背压可能阻止请求按计划发出,因此必须区分目标速率与实际发送速率。
为什么重要
闭环客户端会在响应变慢时减少发送请求,可能掩盖过载;开环测试能暴露这类排队问题。结果不仅取决于平均速率,还取决于到达流量的突发程度和测量窗口长度。
如何在 InferenceX 中解读
AgentX 使用存在依赖关系的闭环智能体会话。其客户端并发量不等于开环请求速率;比较两种负载模型前,应先说明各自的请求到达规则。