基准指标TCO
总体拥有成本
也称为 total cost of ownership、全生命周期成本
先用大白话
TCO 包含硬件采购，以及后续供电、制冷、网络和运维成本。
技术定义
总体拥有成本（TCO）是基础设施在使用寿命内采购、部署和运营的综合成本估算。
工程细节
GPU 采购价只是其中一项。TCO 模型还可包含主机、网络、供电、制冷、机房、融资、折旧、维护和预期利用率，并归一化为每 GPU 小时成本。
为什么重要
TCO 比标价更适合跨系统经济性比较，尤其是网络与电力基础设施不同的机架级产品；但它仍是模型，必须连同假设一起阅读。
如何在 InferenceX 中解读
InferenceX 将 SemiAnalysis AI Cloud TCO 输入与实测 tok/s/GPU 结合，从而区分每小时系统成本和决定该小时 token 产出的软硬件行为。
参考资料
在真实基准中理解这一概念
InferenceMAX：开源推理基准测试
NVIDIA GB200 NVL72、AMD MI355X、每 GPU 吞吐量 Token、延迟 Tok/s/user、性价比、每百万 Token 成本、每配置兆瓦 Token 数、DeepSeek R1 670B、GPTOSS 120B、Llama3 70B
InferenceX v2：NVIDIA Blackwell 对决 AMD 与 Hopper — 前身为 InferenceMAX
GB300 NVL72、MI355X、B200、H100、分离式推理、宽专家并行、大规模混合专家、SGLang、vLLM、TRTLLM
GB200 NVL72 对比 B200 运行 DeepSeek R1 670B：在 125 tok/s/user 下每 GPU 吞吐量最高达 4.4 倍
DeepSeek R1 FP4 1k/1k。NVL72 的 72-GPU NVLink 扩展域允许解码使用最高 EP=32 的宽专家并行，而 B200 的 8-GPU NVLink 岛通过 RoCEv2 上限为 EP=8