uBenchX 微基准测试Beta
底层加速器微基准测试,测量基础硬件特性
显存带宽利用率(MBU)vs 消息大小 MBU 按各设备的峰值带宽计算
Shift+滚轮缩放 · 拖动平移 · 双击重置
- 来源
- SemiAnalysis InferenceX™
Huawei 使用轮转缓冲区的图执行摊销计时;NVIDIA/AMD 使用 Triton 拷贝计时。小消息延迟不能直接比较。
测试方法
NVIDIA/AMD:使用 triton.testing.do_bench 计时 b.copy_(a)(float32 张量);带宽 = 2 * bytes / time(读 + 写)。消息大小为 2 的幂次,从 8 B 到 16 GiB。
Huawei:源和目标分别使用至少 512 MiB 的 FP16 轮转缓冲池,每次计时覆盖完整缓冲池轮转的一次 NPU 图重放。每个大小在三个进程中共测量 360 次,每个测量块前后逐位校验全部拷贝结果。图执行时间按拷贝次数摊销,不代表单次独立拷贝延迟;与 GPU 曲线的测试协议不同,且未采集物理 HBM 流量计数器。8 B–2 KiB 的数据点于 10 月 30 日使用 CANN 9.2.1 补测,缓冲槽间距为 4 KiB,实际访问的数据可能驻留在缓存中。4 KiB 及以上的数据点仍沿用原 CANN 9.1.0 的测量结果。
Huawei 的 MBU 按峰值带宽 1,638.4 GB/s 计算(8 个 HBM stack × 256 位 × 6.4 Gbps),Huawei 将其取整为 1.6 TB/s。
| 设备 | 硬件 | 驱动 | PyTorch | 运行时 | 容器 | 峰值带宽 |
|---|---|---|---|---|---|---|
| B300 SXM | NVIDIA B300 SXM6 AC | 580.159.03 | 2.14.0+cu130 | Triton 3.8.0 | pytorch/pytorch:2.14.0-cuda13.0-cudnn9-runtime | 8.00 TB/s |
| GB200 NVL72 | NVIDIA GB200 | 580.126.20 | 2.13.0+cu130 | Triton 3.7.1 | lmsysorg/sglang:nightly-dev-cu13-20260922-582389ce (arm64) | 8.00 TB/s |
| B200 SXM | NVIDIA B200 | 580.159.03 | 2.13.0+cu130 | Triton 3.7.1 | lmsysorg/sglang nightly 2026-09-22 (582389ce) | 8.00 TB/s |
| H200 SXM | NVIDIA H200 | 580.173.02 | 2.13.0+cu130 | Triton 3.7.1 | lmsysorg/sglang:nightly-dev-cu13-20260923-06008c17 | 4.80 TB/s |
| H100 SXM | NVIDIA H100 80GB HBM3 (SXM) | 580.159.03 | 2.5.1+cu124 | Triton 3.1.0 | pytorch/pytorch:2.5.1-cuda12.4-cudnn9-runtime | 3.35 TB/s |
| MI355X | AMD Instinct MI355X | amdgpu 6.16.6 | 2.11.0+rocm7.2 | Triton 3.7.0 | sglang_local-rocm724-mi35x.sqsh | 8.00 TB/s |
| MI325X | AMD Instinct MI325X | amdgpu 6.16.13 | 2.10.0+rocm7.2.4 | Triton 3.6.0 | rocm/pytorch:rocm7.2.4_ubuntu24.04_py3.12_pytorch_release_2.10.0 | 6.00 TB/s |
| MI300X | AMD Instinct MI300X | amdgpu 6.16.13 | 2.10.0+rocm7.2.4 | Triton 3.6.0 | rocm/pytorch:rocm7.2.4_ubuntu24.04_py3.12_pytorch_release_2.10.0 | 5.30 TB/s |
| Huawei 950PR | Ascend950PR_9579 | 25.7.rc1.10 | 2.10.0+cpu | CANN 9.1.0 · torch_npu 2.10.0.post4 | — | 1.64 TB/s |
数据来源:PR #3879 · PR #3874 · PR #3880 · huawei-bandwidth.json