基准指标
Warm-cache 基准测试
也称为 热缓存测试
先用大白话
数据已驻留部分缓存层级时的测试,可能减少对较慢内存的访问。
技术定义
Warm-cache 基准测试在此前访问已填充相关缓存后测量执行性能,有效驻留情况取决于工作集大小与缓存行为。
工程细节
反复运行小算子可能复用输入,而生产负载需要从更低层存储读取这些数据。Warmup 还可能稳定编译和运行时状态,但这与数据缓存驻留是不同效果。可复现报告应说明重复了什么,以及哪个工作集能放入缓存。
为什么重要
Warm-cache 测试可隔离计算或调度行为,但可能低估冷内存成本。若不披露条件就与流式内存测试比较,可能误判瓶颈。
如何在 InferenceX 中解读
Huawei 文章注明 TileLang 算子比较采用 warm cache。引用加速比时必须保留这一条件,结果不能证明端到端推理吞吐量或 HBM 峰值带宽。