AI 推理术语表

基准指标SoL

Speed-of-Light 吞吐量

先用大白话

明确给定的性能上限,用于表示实测操作距离相关硬件极限还有多远。

技术定义

Speed-of-Light(SoL)吞吐量以指定的理论或可达性能上限为基准,对所测操作及资源的性能进行归一化。

工程细节

分母必须匹配数据格式、指令形状、时钟口径、资源数量以及稀疏或稠密计算约定。没有这些条件的百分比,可能掩盖不兼容的比较。计算上限与内存上限也不是同一个指标,不能互相替代。

为什么重要

隔离指令测试中的高 SoL 不代表应用利用率高。模型可能把大量时间花在其他操作、依赖、通信或空闲间隙上。

如何在 InferenceX 中解读

Blackwell 文章在深浅不同的 MMA 队列下报告了不同峰值比例。判断实际可达性能前,应选择接近真实 kernel 的队列深度,而不是直接套用饱和测试结果。

在真实基准中理解这一概念

全部文章