总体拥有成本
也称为 total cost of ownership、全生命周期成本
先用大白话
TCO 包含硬件采购，以及后续供电、制冷、网络和运维成本。
技术定义
总体拥有成本（TCO）是基础设施在使用寿命内采购、部署和运营的综合成本估算。
工程细节
芯片采购价只是其中一项。TCO 模型还可包含主机、网络、供电、制冷、机房、融资、折旧、维护和预期利用率，并归一化为每芯片小时成本。
为什么重要
TCO 比标价更适合跨系统经济性比较，尤其是网络与电力基础设施不同的机架级产品；但它仍是模型，必须连同假设一起阅读。
如何在 InferenceX 中解读
InferenceX 将 SemiAnalysis AI Cloud 的 TCO 输入与实测 tok/s/chip 结合。Rubin 文章区分了两种口径：超大规模采购条件下的自有成本，包含硬件、网络、机房、电力和资本成本的摊销；以及客户支付的三年云服务预留价格。两者是可选的成本基础，不能相加；租赁价格还反映服务商的商业条款。
参考资料
在真实基准中理解这一概念
InferenceMAX：开源推理基准测试
NVIDIA GB200 NVL72、AMD MI355X、每 GPU 吞吐量 Token、延迟 Tok/s/user、性价比、每百万 Token 成本、每配置兆瓦 Token 数、DeepSeek R1 670B、GPTOSS 120B、Llama3 70B
InferenceX v2：NVIDIA Blackwell 对决 AMD 与 Hopper — 前身为 InferenceMAX
GB300 NVL72、MI355X、B200、H100、分离式推理、宽专家并行、大规模混合专家、SGLang、vLLM、TRTLLM
GB200 NVL72 对比 B200 运行 DeepSeek R1 670B：在 125 tok/s/user 下每 GPU 吞吐量最高达 4.4 倍
DeepSeek R1 FP4 1k/1k。NVL72 的 72-GPU NVLink 扩展域允许解码使用最高 EP=32 的宽专家并行，而 B200 的 8-GPU NVLink 岛通过 RoCEv2 上限为 EP=8
Vera Rubin NVL72 对比 GB200 NVL72？推理 TCO 与架构分析
Rubin 基于 LUT 的 Tensor Core、Feynman、机架级架构、每兆瓦性能、每美元性能、软件改进、Rubin 公开软件栈、PyTorch、vLLM、OpenAI Triton
OpenAI Jalapeño：比 NVIDIA Blackwell 更强
OpenAI 自研 ASIC 对比 Rubin：Jalapeño 的 TCO、每兆瓦吞吐量，以及那些够辣的细节
Rubin NVL72 Agentic 推理：每美元性能提升至 67 倍
Jensen 再次低估性能，每吉瓦年利润超过两倍，买得越多赚得越多，AgentX、InferenceX 与深度协同设计