AI 推理术语表
智能体推理

AIPerf

也称为 AIPerf、回放框架、负载生成器

先用大白话

AIPerf 是发送基准流量的厂商中立客户端,负责重建录制的 agent 会话并记录每条请求的时序。

技术定义

AIPerf 是驱动 AgentX 运行、面向服务端点的开源 HTTP 负载生成与回放框架。

工程细节

它把每个会话重建为有向无环图:节点是请求,边携带依赖请求发出前需要等待的延迟。这一结构可以复现主智能体轮次、并行且稍后汇合的子智能体分支、一次性的辅助请求,以及轮次之间的工具调用停顿,而这些都是扁平的提示词列表无法表达的。

为什么重要

客户端本身就是测量的一部分。无法表达依赖关系的框架,会把 agentic 工作负载当成互相独立的请求发出,从而抹掉这个场景本要考察的突发性与复用特征。保持厂商中立同样重要,可以避免负载生成器偏向某一套服务栈。

如何在 InferenceX 中解读

seed 固定了采样哪些对话、每个对话从哪里开始,以及用于填充匿名化 block 的合成内容,因此同一套配置重跑会回放同样的工作负载。同一模型的所有提交都运行相同的框架次版本,以保证结果可比。