AI 推理术语表
基准指标

内部 TCO 与外部 TCO

也称为 internal vs external TCO、internal TCO、external TCO、内部 TCO、外部 TCO、超大规模厂商 TCO

先用大白话

内部 TCO 是芯片设计方自己运行它的成本,外部 TCO 是客户购买或租用它付出的成本,两者可能相差很大。

技术定义

内部 TCO 是设计并运营芯片的公司自身的每小时成本,外部 TCO 是第三方购买或租用同一芯片的成本,包含厂商的利润。

Ironwood 内部 TCO

每芯片小时 1.03 美元(SemiAnalysis TCO 模型)

工程细节

Google 既为 Gemini 运行 TPU,也向 Anthropic 等客户出售或出租 TPU。SemiAnalysis TCO 模型估算 Ironwood 的内部 TCO 约为每芯片小时 1.03 美元,外部 TCO 更高,反映超大规模实验室购买 TPU 的实际支出。用哪个数字取决于问题:内部 TCO 描述 Google 自己的服务经济性,外部 TCO 描述客户是否应该选 TPU 而不是 B200 或 B300。NVIDIA GPU 从买家角度只有外部 TCO,因为 NVIDIA 不把它们作为服务来运营。

为什么重要

每美元性能的排名随 TCO 基准而变。同时公布两个数字,可以把硬件的成本结构与厂商的定价决策分开,也显示出 Google 在选择降低外部定价时有多大空间。

如何在 InferenceX 中解读

按外部 TCO,InferenceX Official Preview 中 Ironwood 在并发 256 下每美元 token 数比 B200 高 50.4%,比 B300 高 96.0%;按内部 TCO,同一数据点变为 76.7% 和 130.2%。文章的头条对比使用外部 TCO,与 GB300 NVL72 分离式服务的 apples-to-bananas 图表则使用内部 TCO。