智能体推理
闭环基准测试
也称为 closed-loop benchmark、闭环负载测试、闭环工作负载
先用大白话
在闭环基准测试中，每个模拟用户会等待当前步骤完成，再按照该会话的依赖关系发送下一步请求。
技术定义
闭环基准测试中的客户端会在前一个依赖请求完成后生成新工作，同时遵循工作负载记录的等待时间和分支结构。
工程细节
并发量表示活跃客户端或会话的数量，但同时在途的请求数会随时间变化。系统越快，每一轮就完成得越早，因此在同一个 profiling 窗口内会发出更多请求。由于每条采样会话的进度取决于请求完成时间，实际请求组合可能略有不同。
为什么重要
这种负载模型符合交互式 agent 的运行方式，因为下一步动作依赖上一步结果。响应更快时，会话也会更快地产生后续工作，所以吞吐量与延迟相互关联。低并发运行的采样波动通常会比大型请求池更明显。
如何在 InferenceX 中解读
AgentX 采用闭环并发。这里的并发量指同时运行的 agent 客户端数量；随着会话推进，每个批次中的请求数也会变化。解读结果时，应结合吞吐量、首 token 延迟和交互性。
参考资料
在真实基准中理解这一概念
面向 LLM 推理的 Agentic Benchmark：指标与方法
Agent Benchmark 如何回放长上下文、多轮工作负载，并测量延迟、吞吐量、cache 行为与推理服务成本
在 NVIDIA GPU 上实现超高交互性？TileRT 登陆 InferenceX
运行在 NVIDIA GPU 上的 TileRT 软件能否与 Cerebras、Groq LPU、SambaNova 竞争？批大小为 1、分离式引擎、高吞吐量预填充引擎、高交互性解码引擎
InferenceX v2：NVIDIA Blackwell 对决 AMD 与 Hopper — 前身为 InferenceMAX
GB300 NVL72、MI355X、B200、H100、分离式推理、宽专家并行、大规模混合专家、SGLang、vLLM、TRTLLM
AgentX - InferenceXv3：CUDA 护城河在 agentic 推理中还站得住吗？
开源价值 300 万美元的数据集、100 万以上上下文长度、多轮、子智能体、95%+ KVCache 命中率、GB300 NVL72、MI355X、B200