AgentX 教程
通过详细遥测数据解析智能体负载
AgentX 上的一个数据点，背后是数千个请求，跨越不断增长的对话、subagent、warmup 阶段、cache 状态，以及动态变化的在途负载。本文介绍如何把这个点展开来看。
下方每张卡片都会打开对应 AgentX 配置背后的遥测数据。选择一个模型与推理服务栈，详情页会逐请求呈现该次运行的图表。
- 张单点遥测图表
- 11
- 种单点视图
- 3
- 个回放阶段
- 2
- 条曲线（每个 model、SKU 与引擎组合）
- 1
遥测数据目录
已存储遥测数据的 AgentX 运行
覆盖 8 个模型的 69 种推理服务配置，共 1,791 个带有逐请求遥测数据的基准测试数据点。每张卡片打开该配置的代表性数据点，详情页的导航器可在其各并发档位之间切换。
DeepSeekv4 Pro 0813 1.6T
13 种配置 · 508 个数据点
GB300 NVL72 · Dynamo SGLang
FP4NVIDIA · Blackwell
32 个数据点 · 并发 1–1920 · 2026-09-10
GB300 NVL72 · Dynamo TRTLLM
FP4NVIDIA · Blackwell
18 个数据点 · 并发 4–2626 · 2026-09-03
GB300 NVL72 · Dynamo vLLM
FP4NVIDIA · Blackwell
14 个数据点 · 并发 1–1152 · 2026-08-25
GB200 NVL72 · Dynamo vLLM
FP4NVIDIA · Blackwell
39 个数据点 · 并发 1–576 · 2026-08-18
B300 · SGLang
FP4NVIDIA · Blackwell
63 个数据点 · 并发 1–576 · 2026-09-15
B300 · vLLM
FP4NVIDIA · Blackwell
47 个数据点 · 并发 1–576 · 2026-08-21
B200 · SGLang
FP4NVIDIA · Blackwell
89 个数据点 · 并发 1–160 · 2026-09-16
B200 · vLLM
FP4NVIDIA · Blackwell
48 个数据点 · 并发 1–196 · 2026-08-22
MI355X · ATOM¹
FP4AMD · CDNA 4
17 个数据点 · 并发 1–256 · 2026-08-31
MI355X · MoRI SGLang
FP4AMD · CDNA 4
20 个数据点 · 并发 1–192 · 2026-08-21
MI355X · SGLang
FP4AMD · CDNA 4
56 个数据点 · 并发 1–256 · 2026-09-16
MI355X · vLLM
FP4AMD · CDNA 4
50 个数据点 · 并发 1–192 · 2026-09-14
H200 · Dynamo SGLang
FP8NVIDIA · Hopper
15 个数据点 · 并发 1–16 · 2026-09-16
Qwen 3.5 397B-A17B
12 种配置 · 422 个数据点
GB300 NVL72 · Dynamo SGLang
FP4NVIDIA · Blackwell
19 个数据点 · 并发 1–704 · 2026-09-09
GB300 NVL72 · Dynamo TRTLLM
FP4NVIDIA · Blackwell
12 个数据点 · 并发 7–704 · 2026-09-01
GB200 NVL72 · Dynamo SGLang
FP4NVIDIA · Blackwell
44 个数据点 · 并发 1–72 · 2026-09-11
B300 · SGLang
FP4NVIDIA · Blackwell
28 个数据点 · 并发 1–72 · 2026-08-03
B300 · SGLang
FP8NVIDIA · Blackwell
34 个数据点 · 并发 1–72 · 2026-08-07
B200 · SGLang
FP4NVIDIA · Blackwell
32 个数据点 · 并发 1–72 · 2026-08-03
B200 · SGLang
FP8NVIDIA · Blackwell
32 个数据点 · 并发 1–76 · 2026-08-07
MI355X · SGLang
FP4AMD · CDNA 4
114 个数据点 · 并发 1–64 · 2026-09-16
H200 · SGLang
FP8NVIDIA · Hopper
56 个数据点 · 并发 2–24 · 2026-09-16
MI325X · SGLang
FP8AMD · CDNA 3
32 个数据点 · 并发 1–80 · 2026-08-12
H100 · SGLang
FP8NVIDIA · Hopper
9 个数据点 · 并发 1–16 · 2026-08-07
MI300X · SGLang
FP8AMD · CDNA 3
10 个数据点 · 并发 4–32 · 2026-08-12
MiniMax M3 428B
13 种配置 · 313 个数据点
GB300 NVL72 · Dynamo vLLM
FP4NVIDIA · Blackwell
6 个数据点 · 并发 1–120 · 2026-08-21
GB200 NVL72 · Dynamo TRTLLM
FP4NVIDIA · Blackwell
7 个数据点 · 并发 5–40 · 2026-09-11
GB200 NVL72 · Dynamo vLLM
FP4NVIDIA · Blackwell
29 个数据点 · 并发 1–48 · 2026-09-10
B300 · TRTLLM
FP4NVIDIA · Blackwell
33 个数据点 · 并发 1–30 · 2026-09-01
B300 · vLLM
FP4NVIDIA · Blackwell
24 个数据点 · 并发 1–75 · 2026-08-16
B200 · TRTLLM
FP4NVIDIA · Blackwell
33 个数据点 · 并发 1–45 · 2026-09-01
B200 · vLLM
FP4NVIDIA · Blackwell
26 个数据点 · 并发 1–40 · 2026-08-16
MI355X · ATOM¹
FP4AMD · CDNA 4
15 个数据点 · 并发 1–32 · 2026-09-15
MI355X · vLLM
FP4AMD · CDNA 4
59 个数据点 · 并发 1–40 · 2026-09-14
H200 · vLLM
FP8NVIDIA · Hopper
23 个数据点 · 并发 1–14 · 2026-09-15
MI325X · vLLM
FP8AMD · CDNA 3
9 个数据点 · 并发 1–18 · 2026-08-13
H100 · vLLM
FP8NVIDIA · Hopper
37 个数据点 · 并发 1–14 · 2026-08-28
MI300X · vLLM
FP8AMD · CDNA 3
12 个数据点 · 并发 2–16 · 2026-09-08
Kimi K3 2.8T
7 种配置 · 223 个数据点
GB300 NVL72 · Dynamo vLLM
FP4NVIDIA · Blackwell
35 个数据点 · 并发 1–74 · 2026-09-15
GB200 NVL72 · Dynamo vLLM
FP4NVIDIA · Blackwell
44 个数据点 · 并发 1–384 · 2026-08-21
B300 · vLLM
FP4NVIDIA · Blackwell
20 个数据点 · 并发 1–70 · 2026-08-16
B200 · Dynamo vLLM
FP4NVIDIA · Blackwell
29 个数据点 · 并发 1–96 · 2026-09-12
MI355X · ATOM¹
FP4AMD · CDNA 4
23 个数据点 · 并发 1–64 · 2026-09-10
MI355X · vLLM
FP4AMD · CDNA 4
27 个数据点 · 并发 1–52 · 2026-09-10
H200 · vLLM
FP4NVIDIA · Hopper
45 个数据点 · 并发 1–32 · 2026-09-13
GLM 5.3 744B
12 种配置 · 162 个数据点
GB300 NVL72 · Dynamo SGLang
FP4NVIDIA · Blackwell
7 个数据点 · 并发 2–192 · 2026-08-16
GB300 NVL72 · Dynamo TRTLLM
FP4NVIDIA · Blackwell
27 个数据点 · 并发 1–260 · 2026-09-11
GB200 NVL72 · Dynamo SGLang
FP4NVIDIA · Blackwell
14 个数据点 · 并发 1–128 · 2026-08-19
B300 · SGLang
FP4NVIDIA · Blackwell
21 个数据点 · 并发 1–48 · 2026-09-11
B300 · SGLang
FP8NVIDIA · Blackwell
5 个数据点 · 并发 1–16 · 2026-09-16
B200 · Dynamo SGLang
FP4NVIDIA · Blackwell
5 个数据点 · 并发 1–64 · 2026-09-15
B200 · SGLang
FP4NVIDIA · Blackwell
15 个数据点 · 并发 1–16 · 2026-09-02
MI355X · ATOM¹
FP4AMD · CDNA 4
7 个数据点 · 并发 1–10 · 2026-08-19
MI355X · SGLang
FP4AMD · CDNA 4
38 个数据点 · 并发 1–16 · 2026-09-15
MI355X · SGLang
FP8AMD · CDNA 4
7 个数据点 · 并发 1–16 · 2026-09-15
H200 · Dynamo SGLang
FP8NVIDIA · Hopper
9 个数据点 · 并发 8–16 · 2026-09-15
MI325X · SGLang
FP8AMD · CDNA 3
7 个数据点 · 并发 1–8 · 2026-08-08
DeepSeek V4.1 Flash 552B
7 种配置 · 142 个数据点
GB300 NVL72 · vLLM
FP4NVIDIA · Blackwell
32 个数据点 · 并发 1–128 · 2026-09-16
GB200 NVL72 · vLLM
FP4NVIDIA · Blackwell
24 个数据点 · 并发 1–128 · 2026-09-15
B300 · vLLM
FP4NVIDIA · Blackwell
16 个数据点 · 并发 1–128 · 2026-09-15
B200 · vLLM
FP4NVIDIA · Blackwell
24 个数据点 · 并发 1–128 · 2026-09-15
MI355X · vLLM
FP4AMD · CDNA 4
12 个数据点 · 并发 1–32 · 2026-09-13
H200 · vLLM
FP4NVIDIA · Hopper
24 个数据点 · 并发 1–128 · 2026-09-16
H100 · vLLM
FP4NVIDIA · Hopper
10 个数据点 · 并发 1–16 · 2026-09-15
GLM 5/5.1
1 种配置 · 2 个数据点