AgentX tutorial
Exploring Agentic Workloads: Detailed Telemetry
A single AgentX datapoint represents thousands of requests across growing conversations, subagents, warmup periods, cache states, and dynamically changing in-flight load. This is how to open one up.
Every card below opens the telemetry behind one AgentX configuration. Pick a model and a serving stack, and the detail page shows that run charted request by request.
- per-point telemetry charts
- 11
- views per point
- 3
- replay stages
- 2
- curve per model, SKU, and engine
- 1
Telemetry catalog
AgentX runs with stored telemetry
69 serving configurations across 8 models, covering 1,779 benchmark points with per-request telemetry. Each card opens that configuration's headline point; the detail page's navigator moves between its concurrencies.
DeepSeekv4 Pro 0813 1.6T
13 configurations · 496 points
GB300 NVL72 · Dynamo SGLang
FP4NVIDIA · Blackwell
32 points · conc 1–1920 · 2026-09-10
GB300 NVL72 · Dynamo TRTLLM
FP4NVIDIA · Blackwell
18 points · conc 4–2626 · 2026-09-03
GB300 NVL72 · Dynamo vLLM
FP4NVIDIA · Blackwell
14 points · conc 1–1152 · 2026-08-25
GB200 NVL72 · Dynamo vLLM
FP4NVIDIA · Blackwell
39 points · conc 1–576 · 2026-08-18
B300 · SGLang
FP4NVIDIA · Blackwell
63 points · conc 1–576 · 2026-09-15
B300 · vLLM
FP4NVIDIA · Blackwell
47 points · conc 1–576 · 2026-08-21
B200 · SGLang
FP4NVIDIA · Blackwell
77 points · conc 1–160 · 2026-09-08
B200 · vLLM
FP4NVIDIA · Blackwell
48 points · conc 1–196 · 2026-08-22
MI355X · ATOM¹
FP4AMD · CDNA 4
17 points · conc 1–256 · 2026-08-31
MI355X · MoRI SGLang
FP4AMD · CDNA 4
20 points · conc 1–192 · 2026-08-21
MI355X · SGLang
FP4AMD · CDNA 4
56 points · conc 1–256 · 2026-09-16
MI355X · vLLM
FP4AMD · CDNA 4
50 points · conc 1–192 · 2026-09-14
H200 · Dynamo SGLang
FP8NVIDIA · Hopper
15 points · conc 1–16 · 2026-09-16
Qwen 3.5 397B-A17B
12 configurations · 422 points
GB300 NVL72 · Dynamo SGLang
FP4NVIDIA · Blackwell
19 points · conc 1–704 · 2026-09-09
GB300 NVL72 · Dynamo TRTLLM
FP4NVIDIA · Blackwell
12 points · conc 7–704 · 2026-09-01
GB200 NVL72 · Dynamo SGLang
FP4NVIDIA · Blackwell
44 points · conc 1–72 · 2026-09-11
B300 · SGLang
FP4NVIDIA · Blackwell
28 points · conc 1–72 · 2026-08-03
B300 · SGLang
FP8NVIDIA · Blackwell
34 points · conc 1–72 · 2026-08-07
B200 · SGLang
FP4NVIDIA · Blackwell
32 points · conc 1–72 · 2026-08-03
B200 · SGLang
FP8NVIDIA · Blackwell
32 points · conc 1–76 · 2026-08-07
MI355X · SGLang
FP4AMD · CDNA 4
114 points · conc 1–64 · 2026-09-16
H200 · SGLang
FP8NVIDIA · Hopper
56 points · conc 2–24 · 2026-09-16
MI325X · SGLang
FP8AMD · CDNA 3
32 points · conc 1–80 · 2026-08-12
H100 · SGLang
FP8NVIDIA · Hopper
9 points · conc 1–16 · 2026-08-07
MI300X · SGLang
FP8AMD · CDNA 3
10 points · conc 4–32 · 2026-08-12
MiniMax M3 428B
13 configurations · 313 points
GB300 NVL72 · Dynamo vLLM
FP4NVIDIA · Blackwell
6 points · conc 1–120 · 2026-08-21
GB200 NVL72 · Dynamo TRTLLM
FP4NVIDIA · Blackwell
7 points · conc 5–40 · 2026-09-11
GB200 NVL72 · Dynamo vLLM
FP4NVIDIA · Blackwell
29 points · conc 1–48 · 2026-09-10
B300 · TRTLLM
FP4NVIDIA · Blackwell
33 points · conc 1–30 · 2026-09-01
B300 · vLLM
FP4NVIDIA · Blackwell
24 points · conc 1–75 · 2026-08-16
B200 · TRTLLM
FP4NVIDIA · Blackwell
33 points · conc 1–45 · 2026-09-01
B200 · vLLM
FP4NVIDIA · Blackwell
26 points · conc 1–40 · 2026-08-16
MI355X · ATOM¹
FP4AMD · CDNA 4
15 points · conc 1–32 · 2026-09-15
MI355X · vLLM
FP4AMD · CDNA 4
59 points · conc 1–40 · 2026-09-14
H200 · vLLM
FP8NVIDIA · Hopper
23 points · conc 1–14 · 2026-09-15
MI325X · vLLM
FP8AMD · CDNA 3
9 points · conc 1–18 · 2026-08-13
H100 · vLLM
FP8NVIDIA · Hopper
37 points · conc 1–14 · 2026-08-28
MI300X · vLLM
FP8AMD · CDNA 3
12 points · conc 2–16 · 2026-09-08
Kimi K3 2.8T
7 configurations · 223 points
GB300 NVL72 · Dynamo vLLM
FP4NVIDIA · Blackwell
35 points · conc 1–74 · 2026-09-15
GB200 NVL72 · Dynamo vLLM
FP4NVIDIA · Blackwell
44 points · conc 1–384 · 2026-08-21
B300 · vLLM
FP4NVIDIA · Blackwell
20 points · conc 1–70 · 2026-08-16
B200 · Dynamo vLLM
FP4NVIDIA · Blackwell
29 points · conc 1–96 · 2026-09-12
MI355X · ATOM¹
FP4AMD · CDNA 4
23 points · conc 1–64 · 2026-09-10
MI355X · vLLM
FP4AMD · CDNA 4
27 points · conc 1–52 · 2026-09-10
H200 · vLLM
FP4NVIDIA · Hopper
45 points · conc 1–32 · 2026-09-13
GLM 5.3 744B
12 configurations · 162 points
GB300 NVL72 · Dynamo SGLang
FP4NVIDIA · Blackwell
7 points · conc 2–192 · 2026-08-16
GB300 NVL72 · Dynamo TRTLLM
FP4NVIDIA · Blackwell
27 points · conc 1–260 · 2026-09-11
GB200 NVL72 · Dynamo SGLang
FP4NVIDIA · Blackwell
14 points · conc 1–128 · 2026-08-19
B300 · SGLang
FP4NVIDIA · Blackwell
21 points · conc 1–48 · 2026-09-11
B300 · SGLang
FP8NVIDIA · Blackwell
5 points · conc 1–16 · 2026-09-16
B200 · Dynamo SGLang
FP4NVIDIA · Blackwell
5 points · conc 1–64 · 2026-09-15
B200 · SGLang
FP4NVIDIA · Blackwell
15 points · conc 1–16 · 2026-09-02
MI355X · ATOM¹
FP4AMD · CDNA 4
7 points · conc 1–10 · 2026-08-19
MI355X · SGLang
FP4AMD · CDNA 4
38 points · conc 1–16 · 2026-09-15
MI355X · SGLang
FP8AMD · CDNA 4
7 points · conc 1–16 · 2026-09-15
H200 · Dynamo SGLang
FP8NVIDIA · Hopper
9 points · conc 8–16 · 2026-09-15
MI325X · SGLang
FP8AMD · CDNA 3
7 points · conc 1–8 · 2026-08-08
DeepSeek V4.1 Flash 552B
7 configurations · 142 points
GB300 NVL72 · vLLM
FP4NVIDIA · Blackwell
32 points · conc 1–128 · 2026-09-16
GB200 NVL72 · vLLM
FP4NVIDIA · Blackwell
24 points · conc 1–128 · 2026-09-15
B300 · vLLM
FP4NVIDIA · Blackwell
16 points · conc 1–128 · 2026-09-15
B200 · vLLM
FP4NVIDIA · Blackwell
24 points · conc 1–128 · 2026-09-15
MI355X · vLLM
FP4AMD · CDNA 4
12 points · conc 1–32 · 2026-09-13
H200 · vLLM
FP4NVIDIA · Hopper
24 points · conc 1–128 · 2026-09-16
H100 · vLLM
FP4NVIDIA · Hopper
10 points · conc 1–16 · 2026-09-15
Qwen 3.8 Flash Next 176B-A6B
4 configurations · 19 points
GLM 5/5.1
1 configuration · 2 points