AI 推理术语表

基准指标

微基准测试

先用大白话

隔离指令、资源或小型操作的测试,不等同于完整应用性能测量。

技术定义

微基准测试有意缩小工作负载范围,以观察特定延迟、吞吐上限、依赖或资源相互影响。

工程细节

测试程序选择指令形状、并发量、重复次数和缓存条件。这些选择可能隐藏生产环境中的主要成本,例如 launch 开销、较短的依赖链或通信。计时也必须说明范围:单条指令、单个 SM、整卡,还是一次完整调用。

为什么重要

微基准测试适合诊断瓶颈和检验架构假设,但应用调度组合了许多资源与依赖,不能仅凭它预测请求吞吐量或用户延迟。

如何在 InferenceX 中解读

两篇加速器文章在更广泛的讨论之外,都包含隔离测试。引用 Blackwell 的深在途 MMA 队列测试或 Huawei 的 warm cache 算子结果时,应保留原始配置边界。

在真实基准中理解这一概念

全部文章