AgentX 方法论

v1.0 于 2026 年 6 月 21 日构建，共包含 393 个会话。每个入选会话至少有 20 个请求，Claude Code 版本不低于 2.1.139，并且同时运行的 subagent 不超过 10 个。处理流程会移除完全重复的请求、用于安全监控或标题生成的短 classifier 调用，以及重建后 input 超过 990k token 的请求。

full 变体保留最高 1M token 的上下文。256k 变体会移除超过上限的请求，同时保留其余请求的相对时间与 subagent 重叠关系。两者均采用 AIPerf 可读取的 WEKA trace 格式。

AIPerf 将每条 trace 转换为有向无环图（DAG）。主 agent 请求形成线性链；subagent 请求形成独立链，在符合条件的父请求完成后启动，并在下一个依赖它的主 agent 请求前汇合。一次性辅助请求可以在没有 join edge 的情况下运行。

Trace 记录请求时间戳和可观测的分支 ID，但不记录触发分支的 tool 级事件。回放会保留请求顺序、分支重叠与轮次间延迟，但不会推断服务端内部因果关系。

Concurrency 表示同时运行的 agent 客户端数量，不是固定的 HTTP request batch。一个客户端可能展开为多个 subagent 请求，因此服务器上的瞬时请求数可以高于配置的客户端 concurrency。

AgentX 采用 closed-loop 模式：依赖满足后，客户端才提交下一个可执行请求。更快的系统会在同一小时内推进到采样会话的更后位置，因此实际请求组合可能略有不同，低并发时尤为明显。报告结果时应同时给出吞吐量、首 token 延迟（TTFT）和 interactivity；单一 latency 值无法描述完整运行。

固定 seed 会在每段会话记录时长的 25% 至 75% 区间内均匀选择回放起点。随后使用 max_tokens=1 的 primer 建立当前主 agent 与 subagent 的 prefix，再让每条回放 lane 完成 10 个额外 warmup 请求，最后才开启测量 barrier。

对外指标只统计随后一小时的 profiling 窗口。Seed 会固定会话采样、起点和合成 payload。每次循环使用唯一的 cache-bust 标记，避免无关回放逐步形成共享 prefix。

合成 token 会保留 input 长度和 prefix 结构，但其 draft token 接受情况与自然模型输出不同。因此，AgentX 会针对每组模型、speculative 方法、draft length 与 thinking mode，使用 SPEED-Bench 编码类别测得的 acceptance length。

推理引擎提供强制 acceptance 控制，InferenceX 则把选定值记录在带版本的 golden acceptance-length 文件中。这样可以把推理系统性能与合成 payload 引起的 acceptance 波动分开。AgentX 不评估模型回答质量。

KV cache offload 会改变长会话可用的容量。没有标准化 DRAM 配置的服务器上限为 3 TB；GB200 NVL72、GB300 NVL72 和 TPUv7 等标准化系统可使用实际装机容量。

每种基准测试配置只能按其 GPU 占比使用对应的 host DRAM，避免较小的 GPU 分区占用整台服务器的内存预算。