AI 推理术语表
基准指标

每美元性能

也称为 performance per dollar、perf/$、成本效率

先用大白话

每美元性能表示每投入一美元运行系统,能够获得多少有效 AI 输出。

技术定义

每美元性能表示系统每单位建模成本能够交付多少实测推理工作。

工程细节

在固定工作负载和交互性目标下,它是每 token 成本的倒数。2 倍 perf/$ 意味着在相同基础设施支出下,可生成约两倍可比 token。

为什么重要

芯片峰值 FLOPS 不能单独决定服务经济性;内存、网络、软件成熟度、数值精度和实际利用率都会影响最终比值。

如何在 InferenceX 中解读

InferenceX 在匹配交互性时比较 perf/$,并明确使用的 TCO 输入。该比值不能跨模型、序列长度、精度或延迟区间直接套用。