智能体推理
闭环基准测试
也称为 closed-loop benchmark、闭环负载测试、闭环工作负载
先用大白话
在闭环基准测试中，每个模拟用户会等待当前步骤完成，再按照该会话的依赖关系发送下一步请求。
技术定义
闭环基准测试中的客户端会在前一个依赖请求完成后生成新工作，同时遵循工作负载记录的等待时间和分支结构。
工程细节
Concurrency 表示活跃客户端或会话数量，同时存在的请求数会随时间变化。更快的系统更早完成轮次，因此会在同一个 profiling 窗口内发出更多请求。每条采样会话的推进速度取决于请求完成时间，实际请求组合可能有小幅变化。
为什么重要
这种负载模型符合交互式 agent 的运行方式，因为下一步动作依赖上一步结果。响应更快时，会话也会更快地产生后续工作，所以吞吐量与延迟相互关联。低并发运行的采样波动通常会比大型请求池更明显。
如何在 InferenceX 中解读
AgentX 使用闭环 concurrency。该数值表示同时运行的 agent 客户端数量；request batch 会随着会话推进而变化。解读结果时需要结合吞吐量、首 token 延迟与交互性。