Kimi K3 2.8T · 投机解码
B200 FP4:启用 DSpark 与关闭投机解码的对比
在 B200 FP4(NVIDIA Blackwell)上运行 Kimi K3 2.8T 时,对比启用 DSpark和关闭投机解码两种配置的表现,涵盖不同 LLM 工作负载下的吞吐量、成本和交互性。可通过下方图表控件切换序列长度和指标,操作方式与主推理图表相同。
MTP 接受率不宜跨引擎直接比较
不同推理引擎统计 MTP 接受率的口径并不一致,因此同一条曲线上来自不同引擎的数据点不可直接比较。在交互性相同的情况下,吞吐量和成本差异可能来自引擎本身,并不完全代表投机解码带来的收益。跨引擎对比时请谨慎解读。

默认工作负载在这两种配置下暂时没有可用于插值的数据。请在下方图表控件中选择一个两种配置都有基准测试数据的序列长度和精度。
推理性能
不同模型、硬件配置和服务参数下,来自 AgentX 场景的智能体推理指标与固定序列推理指标。