吞吐量与 TCO 计算器

本页面提供吞吐量与总拥有成本(TCO)计算器:基于真实基准测试数据,估算不同 GPU 配置下 LLM 推理服务的每百万 token 成本与性价比。

图表中的模型、GPU、框架与指标名称均沿用业界通用英文名称。

TCO 计算器

设定目标交互性(tokens/sec/user),比较所有 GPU 的吞吐量和成本。数值基于真实基准测试数据插值计算。