InferenceX 研究

硬件结果

新一代加速器系统的 AgentX 对比结果：在相同交互性下，比较每美元 TCO、每 MW 与每颗芯片的 token 数。

2026年10月19日预计阅读 13 分钟

TPU v7（Ironwood）对比 GB300 NVL72：AgentX 结果

在 Qwen3.5-397B 上，200 tok/s/user 时，按外部 TCO 计算，TPU v7 FP8 每 1 美元 TCO 产出的 token 数是 GB300 NVL72 FP8 的 1.85 倍，按内部 TCO 计算为 2.17 倍。使用 Dynamo TensorRT-LLM 的 GB300 NVL72 FP4 在两种 TCO 口径下的每个匹配点上都领先。在 Kimi K3 上，按外部 TCO 计算 GB300 NVL72 领先，按内部 TCO 计算 TPU v7 在约 53 到 149 tok/s/user 区间领先。

查看结果

2026年10月19日预计阅读 13 分钟

Vera Rubin NVL72 对比 GB300 NVL72 的 AgentX 结果

在 InferenceX AgentX 上，以 100 tok/s/user（GLM-5.2 为 120）比较，Vera Rubin NVL72 在已有 Vera Rubin 结果的全部四个模型上，每 1 美元 TCO 对应的总 token 数和每 MW 的 token 吞吐量都是 GB300 NVL72 的1.8 至 2.0 倍。各模型的每美元比值都在 GB300 NVL72 每个配置只服务不超过 4 个 agent 的区间达到峰值，最高为 MiniMax-M3 上的约 10.2 倍。

查看结果