每美元性能
也称为 performance per dollar、perf/$、成本效率
先用大白话
每美元性能表示每投入一美元运行系统,能够获得多少有效 AI 输出。
技术定义
每美元性能表示系统每单位建模成本能够交付多少实测推理工作。
工程细节
在固定工作负载和交互性目标下,它是每 token 成本的倒数。2 倍 perf/$ 意味着在相同基础设施支出下,可生成约两倍可比 token。
为什么重要
芯片峰值 FLOPS 不能单独决定服务经济性;内存、网络、软件成熟度、数值精度和实际利用率都会影响最终比值。
如何在 InferenceX 中解读
InferenceX 在匹配交互性时比较 perf/$,并明确使用的 TCO 输入。该比值不能跨模型、序列长度、精度或延迟区间直接套用。
参考资料
在真实基准中理解这一概念
B200 NVFP4 对比 H200 FP8 运行 GLM-5:SGLang MTP 下性价比提升高达 3.65 倍
两款 GPU 均运行 SGLang EAGLE MTP;Blackwell 世代在峰值处带来约 1.2 倍的性价比提升,NVIDIA GLM-5-NVFP4 检查点搭配 FlashInfer TRT-LLM 稀疏 MLA 在 8K/1K 场景下再叠加约 2.4–3.0 倍优势
B200 NVFP4 vs H100 FP8 运行 MiniMax-M2.5:vLLM 下每美元性能最高提升 8.2 倍
vLLM PR #36307 为 MiniMax 在 B200 上解锁了 trtllm-gen FP8 MoE 模块化内核;结合 NVFP4,在 8K/1K 负载下性能/成本从 22 tok/s/user 时的 4.0 倍扩大到 110 tok/s/user 时的 8.2 倍
B200 NVFP4 对比 H200 INT4 运行 Kimi K2.5/K2.6:性价比提升高达 2.95 倍
在 vLLM 8K/1K 工作负载下,B200 NVFP4 路径在 30–90 tok/s/user 推理区间内每百万 tokens 成本比 H200 INT4 低 2.71x–2.95x,比同一 B200 硬件上的 INT4 低 2.45x–2.74x。三个因素——B200 的 HBM 带宽、HBM 容量和 NVFP4 张量核心——可清晰分解该优势
AMD MI355X GLM-5 推理:SGLang FP8 单节点每百万 token 成本比 B200 最高低 40%
GLM-5 发布 14 周后,AMD 在 MI355X 上同时实现了 SGLang FP8 的 MTP 和非 MTP 方案 — 通过 TileLang 实现的融合 MLA + FP8 KV 缓存在大部分性能 Pareto 前沿上将单节点 FP8 成本曲线翻转为 AMD 占优