基准指标
在途字节数
也称为 bytes in flight
先用大白话
并发传输已经请求、但尚未全部完成的数据量。
技术定义
在途字节数统计指定范围内尚未完成的传输量，例如单个 SM，而不是整个测试累计处理的字节数。
工程细节
增加在途工作可隐藏延迟并提高持续带宽，直到某项资源饱和；同时也占用缓冲、barrier 状态和指令发射能力。线程数、load 宽度、stage 数和传输形状可以产生相同字节总量，却带来不同执行成本。
为什么重要
相同在途字节数不保证吞吐量或延迟相同。比较时应保持范围与单位一致，并区分请求流量和向多个 multicast 目标交付的数据量。
如何在 InferenceX 中解读
Blackwell 文章以在途数据量为横轴绘制传输吞吐量。转载明确标出了原文正文写 bytes、图中却使用 KiB 的位置，没有把两种单位默认为等价。