uBenchX 微基准测试Beta

底层加速器微基准测试,测量基础硬件特性

基准测试配置
图表配置

显存带宽利用率(MBU)vs 消息大小 MBU 按各设备的峰值带宽计算

Shift+滚轮缩放 · 拖动平移 · 双击重置

来源
SemiAnalysis InferenceX™

Huawei 使用轮转缓冲区的图执行摊销计时;NVIDIA/AMD 使用 Triton 拷贝计时。小消息延迟不能直接比较。

测试方法

NVIDIA/AMD:使用 triton.testing.do_bench 计时 b.copy_(a)(float32 张量);带宽 = 2 * bytes / time(读 + 写)。消息大小为 2 的幂次,从 8 B 到 16 GiB。

Huawei:源和目标分别使用至少 512 MiB 的 FP16 轮转缓冲池,每次计时覆盖完整缓冲池轮转的一次 NPU 图重放。每个大小在三个进程中共测量 360 次,每个测量块前后逐位校验全部拷贝结果。图执行时间按拷贝次数摊销,不代表单次独立拷贝延迟;与 GPU 曲线的测试协议不同,且未采集物理 HBM 流量计数器。8 B–2 KiB 的数据点于 10 月 30 日使用 CANN 9.2.1 补测,缓冲槽间距为 4 KiB,实际访问的数据可能驻留在缓存中。4 KiB 及以上的数据点仍沿用原 CANN 9.1.0 的测量结果。

Huawei 的 MBU 按峰值带宽 1,638.4 GB/s 计算(8 个 HBM stack × 256 位 × 6.4 Gbps),Huawei 将其取整为 1.6 TB/s。

设备硬件驱动PyTorch运行时容器峰值带宽
B300 SXMNVIDIA B300 SXM6 AC580.159.032.14.0+cu130Triton 3.8.0pytorch/pytorch:2.14.0-cuda13.0-cudnn9-runtime8.00 TB/s
GB200 NVL72NVIDIA GB200580.126.202.13.0+cu130Triton 3.7.1lmsysorg/sglang:nightly-dev-cu13-20260922-582389ce (arm64)8.00 TB/s
B200 SXMNVIDIA B200580.159.032.13.0+cu130Triton 3.7.1lmsysorg/sglang nightly 2026-09-22 (582389ce)8.00 TB/s
H200 SXMNVIDIA H200580.173.022.13.0+cu130Triton 3.7.1lmsysorg/sglang:nightly-dev-cu13-20260923-06008c174.80 TB/s
H100 SXMNVIDIA H100 80GB HBM3 (SXM)580.159.032.5.1+cu124Triton 3.1.0pytorch/pytorch:2.5.1-cuda12.4-cudnn9-runtime3.35 TB/s
MI355XAMD Instinct MI355Xamdgpu 6.16.62.11.0+rocm7.2Triton 3.7.0sglang_local-rocm724-mi35x.sqsh8.00 TB/s
MI325XAMD Instinct MI325Xamdgpu 6.16.132.10.0+rocm7.2.4Triton 3.6.0rocm/pytorch:rocm7.2.4_ubuntu24.04_py3.12_pytorch_release_2.10.06.00 TB/s
MI300XAMD Instinct MI300Xamdgpu 6.16.132.10.0+rocm7.2.4Triton 3.6.0rocm/pytorch:rocm7.2.4_ubuntu24.04_py3.12_pytorch_release_2.10.05.30 TB/s
Huawei 950PRAscend950PR_957925.7.rc1.102.10.0+cpuCANN 9.1.0 · torch_npu 2.10.0.post4—1.64 TB/s

数据来源:PR #3879 · PR #3874 · PR #3880 · huawei-bandwidth.json