AI 推理术语表
基准指标

可计费利用率

也称为 billable utilization、可计费容量利用率

先用大白话

可计费利用率表示在估算期间,有多少建模服务容量实际用于付费流量。

技术定义

可计费利用率是经济模型中假定用于产生收入的流量占可用服务容量的比例。

经济模型假设

估算期间售出的服务容量比例(%)

工程细节

基准测试确定某一运行点的 token 速率;换算成年收入时,还需假设这些容量长期能售出多少。容量闲置或需求不足会降低可计费产出,即使服务栈在有负载时能达到实测速率。

为什么重要

这一假设不同于 GPU 利用率遥测或模型 FLOPS 利用率。加速器繁忙并不能证明其工作能够计费,峰值吞吐量测量也不能证明全年都有足够的客户需求。

如何在 InferenceX 中解读

Rubin 文章的年收入和建模利润示例采用 75 TPS、60% 利用率。引用结果时须同时保留这些假设,不能将其表述为实际收入或纯硬件性能测量。