AgentX tutorial

Exploring agentic workloads: detailed telemetry

A single AgentX datapoint represents thousands of requests across growing conversations, subagents, warmup periods, cache states, and dynamically changing in-flight load. This is how to open one up.

Every card below opens the telemetry behind one AgentX configuration. Pick a model and a serving stack, and the detail page shows that run charted request by request.

per-point telemetry charts: 11
views per point: 3
replay stages: 2
curve per model, SKU, and engine: 1

Read the telemetry tutorial

AgentX runs with stored telemetry

140 serving configurations across 12 models, covering 5,125 benchmark points with per-request telemetry. Each card opens that configuration's headline point; the detail page's navigator moves between its concurrencies.

DeepSeek V4.1 Flash 552B

19 configurations · 1,175 points

GB300 NVL72 · Dynamo SGLang

NVIDIA · Blackwell

44 points · conc 1–7480 · 2026-11-06

GB300 NVL72 · Dynamo vLLM

NVIDIA · Blackwell

13 points · conc 1–10888 · 2026-10-20

GB300 NVL72 · SGLang

NVIDIA · Blackwell

79 points · conc 1–160 · 2026-11-03

GB300 NVL72 · vLLM

NVIDIA · Blackwell

84 points · conc 1–192 · 2026-11-06

GB200 NVL72 · SGLang

NVIDIA · Blackwell

62 points · conc 1–256 · 2026-11-06

GB200 NVL72 · vLLM

NVIDIA · Blackwell

57 points · conc 1–256 · 2026-11-05

B300 · SGLang

NVIDIA · Blackwell

46 points · conc 1–256 · 2026-10-29

B300 · vLLM

NVIDIA · Blackwell

65 points · conc 1–192 · 2026-10-20

B200 · SGLang

NVIDIA · Blackwell

72 points · conc 1–256 · 2026-11-06

B200 · vLLM

NVIDIA · Blackwell

109 points · conc 1–576 · 2026-11-05

MI355X · ATOM¹

AMD · CDNA 4

65 points · conc 1–128 · 2026-11-03

MI355X · SGLang

AMD · CDNA 4

56 points · conc 1–64 · 2026-10-22

MI355X · vLLM

AMD · CDNA 4

144 points · conc 1–128 · 2026-11-03

H200 · SGLang

NVIDIA · Hopper

57 points · conc 1–128 · 2026-11-06

H200 · vLLM

NVIDIA · Hopper

56 points · conc 1–128 · 2026-10-24

MI325X · vLLM

AMD · CDNA 3

60 points · conc 1–32 · 2026-11-06

H100 · SGLang

NVIDIA · Hopper

14 points · conc 1–20 · 2026-09-24

H100 · vLLM

NVIDIA · Hopper

50 points · conc 1–28 · 2026-11-06

MI300X · vLLM

AMD · CDNA 3

42 points · conc 1–32 · 2026-11-06

DeepSeekv4 Pro 0813 1.6T

17 configurations · 780 points

Vera Rubin NVL72 · Dynamo TRTLLM

NVIDIA · Vera Rubin

7 points · conc 6–2934 · 2026-10-05

GB300 NVL72 · Dynamo SGLang

NVIDIA · Blackwell

49 points · conc 1–2400 · 2026-10-23

GB300 NVL72 · Dynamo TRTLLM

NVIDIA · Blackwell

12 points · conc 4–2626 · 2026-09-03

GB300 NVL72 · Dynamo vLLM

NVIDIA · Blackwell

23 points · conc 1–1152 · 2026-10-14

GB200 NVL72 · Dynamo SGLang

NVIDIA · Blackwell

16 points · conc 1–1280 · 2026-10-12

GB200 NVL72 · Dynamo vLLM

NVIDIA · Blackwell

50 points · conc 1–576 · 2026-10-14

B300 · Dynamo SGLang

NVIDIA · Blackwell

7 points · conc 1–384 · 2026-10-26

B300 · SGLang

NVIDIA · Blackwell

80 points · conc 1–576 · 2026-09-29

B300 · vLLM

NVIDIA · Blackwell

59 points · conc 1–576 · 2026-09-28

B200 · Dynamo SGLang

NVIDIA · Blackwell

6 points · conc 1–256 · 2026-09-22

B200 · SGLang

NVIDIA · Blackwell

89 points · conc 1–160 · 2026-09-16

B200 · vLLM

NVIDIA · Blackwell

85 points · conc 1–196 · 2026-10-29

MI355X · ATOM¹

AMD · CDNA 4

59 points · conc 1–384 · 2026-10-15

MI355X · MoRI SGLang

AMD · CDNA 4

57 points · conc 1–512 · 2026-10-28

MI355X · SGLang

AMD · CDNA 4

92 points · conc 1–384 · 2026-10-29

MI355X · vLLM

AMD · CDNA 4

74 points · conc 1–192 · 2026-10-29

H200 · Dynamo SGLang

NVIDIA · Hopper

15 points · conc 1–16 · 2026-09-16

Qwen 3.5 397B-A17B

19 configurations · 771 points

GB300 NVL72 · Dynamo SGLang

NVIDIA · Blackwell

19 points · conc 1–704 · 2026-09-09

GB300 NVL72 · Dynamo SGLang

NVIDIA · Blackwell

17 points · conc 1–1000 · 2026-10-09

GB300 NVL72 · Dynamo TRTLLM

NVIDIA · Blackwell

9 points · conc 38–704 · 2026-10-17

GB200 NVL72 · Dynamo SGLang

NVIDIA · Blackwell

55 points · conc 1–72 · 2026-10-22

B300 · Dynamo SGLang

NVIDIA · Blackwell

5 points · conc 4–64 · 2026-10-14

B300 · Dynamo SGLang

NVIDIA · Blackwell

18 points · conc 4–56 · 2026-10-21

B300 · SGLang

NVIDIA · Blackwell

28 points · conc 1–72 · 2026-08-03

B300 · SGLang

NVIDIA · Blackwell

34 points · conc 1–72 · 2026-08-07

B200 · Dynamo SGLang

NVIDIA · Blackwell

12 points · conc 8–64 · 2026-10-21

B200 · SGLang

NVIDIA · Blackwell

32 points · conc 1–72 · 2026-08-03

B200 · SGLang

NVIDIA · Blackwell

131 points · conc 1–76 · 2026-10-23

MI355X · ATOM¹

AMD · CDNA 4

11 points · conc 1–80 · 2026-10-23

MI355X · SGLang

AMD · CDNA 4

130 points · conc 1–64 · 2026-09-29

MI355X · SGLang

AMD · CDNA 4

33 points · conc 1–80 · 2026-10-01

H200 · SGLang

NVIDIA · Hopper

102 points · conc 2–48 · 2026-10-28

MI325X · SGLang

AMD · CDNA 3

96 points · conc 1–80 · 2026-10-23

H100 · SGLang

NVIDIA · Hopper

18 points · conc 1–16 · 2026-09-16

MI300X · SGLang

AMD · CDNA 3

10 points · conc 4–32 · 2026-08-12

TPU7x · vLLM

Google · Ironwood

11 points · conc 4–32 · 2026-10-13

MiniMax M3 428B

14 configurations · 553 points

Vera Rubin NVL72 · Dynamo TRTLLM

NVIDIA · Vera Rubin

6 points · conc 16–56 · 2026-10-23

Vera Rubin NVL72 · Dynamo vLLM

NVIDIA · Vera Rubin

10 points · conc 1–56 · 2026-10-19

GB300 NVL72 · Dynamo vLLM

NVIDIA · Blackwell

6 points · conc 1–120 · 2026-08-21

GB200 NVL72 · Dynamo vLLM

NVIDIA · Blackwell

37 points · conc 1–48 · 2026-10-27

B300 · TRTLLM

NVIDIA · Blackwell

33 points · conc 1–30 · 2026-09-01

B300 · vLLM

NVIDIA · Blackwell

55 points · conc 1–75 · 2026-10-26

B200 · TRTLLM

NVIDIA · Blackwell

33 points · conc 1–45 · 2026-09-01

B200 · vLLM

NVIDIA · Blackwell

51 points · conc 1–40 · 2026-10-23

MI355X · ATOM¹

AMD · CDNA 4

71 points · conc 1–48 · 2026-10-08

MI355X · vLLM

AMD · CDNA 4

71 points · conc 1–40 · 2026-10-27

H200 · vLLM

NVIDIA · Hopper

61 points · conc 1–14 · 2026-10-23

MI325X · vLLM

AMD · CDNA 3

27 points · conc 1–18 · 2026-10-22

H100 · vLLM

NVIDIA · Hopper

44 points · conc 1–14 · 2026-09-27

MI300X · vLLM

AMD · CDNA 3

48 points · conc 2–16 · 2026-10-25

GLM 5.3 744B

15 configurations · 454 points

GB300 NVL72 · Dynamo SGLang

NVIDIA · Blackwell

29 points · conc 1–264 · 2026-10-20

GB300 NVL72 · Dynamo TRTLLM

NVIDIA · Blackwell

6 points · conc 1–260 · 2026-10-12

GB200 NVL72 · Dynamo SGLang

NVIDIA · Blackwell

51 points · conc 1–336 · 2026-11-05

B300 · Dynamo SGLang

NVIDIA · Blackwell

7 points · conc 1–48 · 2026-10-14

B300 · SGLang

NVIDIA · Blackwell

32 points · conc 1–48 · 2026-10-12

B300 · SGLang

NVIDIA · Blackwell

21 points · conc 1–28 · 2026-11-03

B200 · Dynamo SGLang

NVIDIA · Blackwell

30 points · conc 1–64 · 2026-11-03

B200 · SGLang

NVIDIA · Blackwell

25 points · conc 1–16 · 2026-11-06

B200 · SGLang

NVIDIA · Blackwell

18 points · conc 1–24 · 2026-10-22

MI355X · ATOM¹

AMD · CDNA 4

44 points · conc 1–48 · 2026-10-27

MI355X · SGLang

AMD · CDNA 4

121 points · conc 1–48 · 2026-11-02

MI355X · SGLang

AMD · CDNA 4

14 points · conc 1–16 · 2026-09-19

H200 · Dynamo SGLang

NVIDIA · Hopper

14 points · conc 2–16 · 2026-09-18

MI325X · SGLang

AMD · CDNA 3

35 points · conc 1–8 · 2026-10-24

TPU7x · vLLM

Google · Ironwood

7 points · conc 1–48 · 2026-11-02

Kimi K3 2.8T

9 configurations · 422 points

Vera Rubin NVL72 · Dynamo vLLM

NVIDIA · Vera Rubin

6 points · conc 1–256 · 2026-10-23

GB300 NVL72 · Dynamo vLLM

NVIDIA · Blackwell

81 points · conc 1–336 · 2026-10-27

GB200 NVL72 · Dynamo vLLM

NVIDIA · Blackwell

67 points · conc 1–384 · 2026-10-21

B300 · vLLM

NVIDIA · Blackwell

20 points · conc 1–70 · 2026-08-16

B200 · Dynamo vLLM

NVIDIA · Blackwell

51 points · conc 1–96 · 2026-10-26

MI355X · ATOM¹

AMD · CDNA 4

44 points · conc 1–72 · 2026-10-15

MI355X · MoRI vLLM

AMD · CDNA 4

6 points · conc 12–56 · 2026-10-14

MI355X · vLLM

AMD · CDNA 4

102 points · conc 1–70 · 2026-10-27

H200 · vLLM

NVIDIA · Hopper

45 points · conc 1–32 · 2026-09-13

MiniMax M3.1 Flash 428B

15 configurations · 374 points

GB300 NVL72 · Dynamo SGLang

NVIDIA · Blackwell

29 points · conc 1–480 · 2026-11-03

GB300 NVL72 · Dynamo vLLM

NVIDIA · Blackwell

26 points · conc 1–400 · 2026-11-01

GB300 NVL72 · SGLang

NVIDIA · Blackwell

52 points · conc 1–128 · 2026-10-31

GB300 NVL72 · vLLM

NVIDIA · Blackwell

19 points · conc 1–128 · 2026-11-03

GB200 NVL72 · Dynamo vLLM

NVIDIA · Blackwell

23 points · conc 1–360 · 2026-11-01

GB200 NVL72 · SGLang

NVIDIA · Blackwell

33 points · conc 1–128 · 2026-10-29

GB200 NVL72 · vLLM

NVIDIA · Blackwell

7 points · conc 1–128 · 2026-10-23

B300 · SGLang

NVIDIA · Blackwell

61 points · conc 1–256 · 2026-11-03

B300 · vLLM

NVIDIA · Blackwell

21 points · conc 1–256 · 2026-10-27

B200 · SGLang

NVIDIA · Blackwell

33 points · conc 1–128 · 2026-10-28

B200 · vLLM

NVIDIA · Blackwell

25 points · conc 1–128 · 2026-10-25

MI355X · SGLang

AMD · CDNA 4

16 points · conc 1–64 · 2026-11-02

MI355X · vLLM

AMD · CDNA 4

14 points · conc 1–64 · 2026-11-02

H200 · vLLM

NVIDIA · Hopper

8 points · conc 1–24 · 2026-10-23

H100 · vLLM

NVIDIA · Hopper

7 points · conc 1–12 · 2026-10-23

Muse Spark Open 816B

10 configurations · 319 points

Vera Rubin NVL72 · Dynamo TRTLLM

NVIDIA · Vera Rubin

8 points · conc 1–100 · 2026-11-03

GB300 NVL72 · Dynamo SGLang

NVIDIA · Blackwell

9 points · conc 3–40 · 2026-10-22

GB300 NVL72 · SGLang

NVIDIA · Blackwell

55 points · conc 1–48 · 2026-11-04

GB300 NVL72 · TRTLLM

NVIDIA · Blackwell

7 points · conc 1–48 · 2026-10-27

GB200 NVL72 · SGLang

NVIDIA · Blackwell

64 points · conc 1–40 · 2026-11-06

B300 · SGLang

NVIDIA · Blackwell

56 points · conc 1–128 · 2026-11-04

B200 · SGLang

NVIDIA · Blackwell

50 points · conc 1–64 · 2026-11-06

MI355X · SGLang

AMD · CDNA 4

48 points · conc 1–64 · 2026-10-30

H200 · SGLang

NVIDIA · Hopper

16 points · conc 1–64 · 2026-10-19

TPU7x · SGLang

Google · Ironwood

6 points · conc 1–22 · 2026-11-02

Qwen 3.8 Flash Next 176B-A6B

8 configurations · 131 points

Vera Rubin NVL72 · Dynamo SGLang

NVIDIA · Vera Rubin

28 points · conc 1–336 · 2026-11-05

GB300 NVL72 · SGLang

NVIDIA · Blackwell

30 points · conc 1–80 · 2026-11-06

GB300 NVL72 · TokenSpeed

NVIDIA · Blackwell

8 points · conc 1–64 · 2026-11-05

B300 · SGLang

NVIDIA · Blackwell

18 points · conc 1–80 · 2026-11-03

B200 · SGLang

NVIDIA · Blackwell

9 points · conc 1–32 · 2026-11-07

MI355X · SGLang

AMD · CDNA 4

21 points · conc 1–80 · 2026-11-06

H200 · SGLang

NVIDIA · Hopper

12 points · conc 1–16 · 2026-10-19

H100 · SGLang

NVIDIA · Hopper

5 points · conc 1–16 · 2026-08-27

Kimi K3.1 Pro 2.8T

10 configurations · 114 points

GB300 NVL72 · Dynamo SGLang

NVIDIA · Blackwell

9 points · conc 1–300 · 2026-11-05

GB300 NVL72 · Dynamo vLLM

NVIDIA · Blackwell

10 points · conc 1–384 · 2026-11-06

GB200 NVL72 · Dynamo SGLang

NVIDIA · Blackwell

10 points · conc 1–56 · 2026-11-05

GB200 NVL72 · vLLM

NVIDIA · Blackwell

10 points · conc 1–56 · 2026-11-06

B300 · SGLang

NVIDIA · Blackwell

11 points · conc 1–70 · 2026-11-05

B300 · vLLM

NVIDIA · Blackwell

22 points · conc 1–70 · 2026-11-06

B200 · Dynamo SGLang

NVIDIA · Blackwell

11 points · conc 1–96 · 2026-11-05

B200 · vLLM

NVIDIA · Blackwell

11 points · conc 1–96 · 2026-11-06

MI355X · SGLang

AMD · CDNA 4

13 points · conc 1–56 · 2026-11-07

MI355X · vLLM

AMD · CDNA 4

7 points · conc 1–48 · 2026-11-06

GLM 5.3 744B

3 configurations · 30 points

Vera Rubin NVL72 · Dynamo TRTLLM

NVIDIA · Vera Rubin

17 points · conc 1–920 · 2026-10-30

B300 · SGLang

NVIDIA · Blackwell

10 points · conc 1–28 · 2026-10-22

MI355X · TileRT

AMD · CDNA 4

3 points · conc 1–1 · 2026-10-07

GLM 5/5.1

1 configuration · 2 points

B200 · TileRT

NVIDIA · Blackwell

2 points · conc 1–1 · 2026-08-27