GLM 5.3 744B · MI355X · 精度对比
MI355X：FP4 与 FP8 精度对比
在 MI355X（AMD CDNA 4）上，比较 FP4 与 FP8 两种量化精度对 GLM 5.3 744B 推理的影响，涵盖不同 LLM 工作负载下的吞吐量、延迟和成本。可通过下方图表控件切换序列长度和指标，操作方式与主推理图表相同。
这组精度暂时没有可用于插值对比的数据。请在下方图表控件中选择一个两种精度都有基准测试数据的序列长度。
推理性能
不同模型、硬件配置和服务参数下，来自 AgentX 场景的智能体推理指标与固定序列推理指标。