ubenchX 微基准测试(Beta)

底层加速器微基准测试,测量基础硬件特性。

核心访存特征

对比 B200 与 Huawei 950PR 的访存分组模式。各设备使用独立色标:B200 以 clock64 周期计,950PR 以 SYS_CNT ticks 计。不同设备上颜色或数值相同,并不代表延迟相同。

Huawei 950PR

Ascend 950PR_9579 · 128 MiB · Cube 与 Vector 标量控制器

数值表示访存特征之间的差异,不是核心间通信延迟、连线距离或物理坐标。SYS_CNT ticks 不等同于 clock64 周期或纳秒。运行时 ID 存在空缺,数值间距不代表空间距离。

平均绝对差(SYS_CNT ticks)

0113.64

四幅图使用相同的色标范围。

Cube · 单个核心执行

cube 单个核心执行0088545461616868物理核心 ID物理核心 ID

解码出的同一 die 分组内: 18.55 · 解码出的不同 die 分组间: 93.13 SYS_CNT ticks

Cube · 并发启动

cube 并发启动0088545461616868物理核心 ID物理核心 ID

解码出的同一 die 分组内: 32.37 · 解码出的不同 die 分组间: 74.18 SYS_CNT ticks

Vector · 单个核心执行

vector 单个核心执行1818343472728686101101物理核心 ID物理核心 ID

解码出的同一 die 分组内: 18.56 · 解码出的不同 die 分组间: 93.54 SYS_CNT ticks

Vector · 并发启动

vector 并发启动1818343472728686101101物理核心 ID物理核心 ID

解码出的同一 die 分组内: 36.51 · 解码出的不同 die 分组间: 58.79 SYS_CNT ticks

测试方法

两类核心在同一块分配的内存上执行相同的标量指针追踪。先在每个对应地址上对六次遍历取平均,再计算每对核心访存特征之间的平均绝对差。

并发启动没有网格级起始同步屏障。相比整体分组,细节模式的可重复性较弱;这些图不能确定哪些核心在物理上共享缓存。

数据来源

B200 SXM: SM 间 L2 延迟差异

GPC 内平均
75.6 cycles
跨 GPC(同 die)平均
82.6 cycles
跨 die 平均
269.9 cycles

测试方法

每个 SM 沿链表遍历 L2 缓存行,并用 clock64() 记录每跳延迟。每个单元格表示两个 SM 在相同地址上测得的延迟特征之间的平均绝对差,既不是 SM 间直接通信延迟,也不是物理距离。

B200 SXM: NVIDIA B200 SXM | Driver: 580.159.03 | CUDA: 13.0 | Container: sglang-20260922-582389ce-amd64.sqsh

数据来源: https://github.com/SemiAnalysisAI/InferenceX/pull/3881