AI 推理术语表
基准指标

等交互性

也称为 iso-interactivity、匹配交互性、相同 token 速率

先用大白话

等交互性就是让不同系统以相同速度向用户显示文字,再比较背后的硬件效率。

技术定义

等交互性是指在相同的每用户生成速度下比较不同系统。

工程细节

不同方案的并发点很少正好落在相同 tok/s/user。等交互性比较会在各自 Pareto 前沿上对共同目标插值,再比较该点的吞吐量、成本或效率。

为什么重要

固定用户体验可以避免常见基准错误:某系统只有在让每个请求更慢时才达到更高吞吐量,却被错误地称为更快。

如何在 InferenceX 中解读

InferenceX 文章使用等交互性表格比较硬件、精度和软件;超出实测前沿的值会标记为不可达,而不会向观测区间之外外推。