基准指标
Pareto 前沿
也称为 Pareto frontier、性能前沿、Pareto 最优曲线
先用大白话
Pareto 前沿是一条“最佳权衡线”:线上的每个点都值得考虑,因为改善一项指标就必须牺牲另一项。
技术定义
Pareto 前沿由不存在另一个测量点能在两个比较维度上都更好的运行点组成。
工程细节
在吞吐量与交互性图中,如果另一个点既能处理更多总 token,又能让每个用户更快收到 token,那么原点就被支配;删除所有被支配点后得到有效边界。
为什么重要
前沿能避免噪声点或调优较差的点扭曲比较,并展示真正的权衡。沿曲线仍不存在普适赢家,最佳点取决于用户最低交互性或最高成本目标。
如何在 InferenceX 中解读
InferenceX 连接并发与配置扫描中的 Pareto 最优点,等交互性比较也沿这些前沿插值,避免用随意选择的原始点直接比较。
参考资料
在真实基准中理解这一概念
InferenceMAX:开源推理基准测试
NVIDIA GB200 NVL72、AMD MI355X、每 GPU 吞吐量 Token、延迟 Tok/s/user、性价比、每百万 Token 成本、每配置兆瓦 Token 数、DeepSeek R1 670B、GPTOSS 120B、Llama3 70B
InferenceX v2:NVIDIA Blackwell 对决 AMD 与 Hopper — 前身为 InferenceMAX
GB300 NVL72、MI355X、B200、H100、分离式推理、宽专家并行、大规模混合专家、SGLang、vLLM、TRTLLM
AMD MI355X GLM-5 推理:SGLang FP8 单节点每百万 token 成本比 B200 最高低 40%
GLM-5 发布 14 周后,AMD 在 MI355X 上同时实现了 SGLang FP8 的 MTP 和非 MTP 方案 — 通过 TileLang 实现的融合 MLA + FP8 KV 缓存在大部分性能 Pareto 前沿上将单节点 FP8 成本曲线翻转为 AMD 占优