推理服务
KV cache 驱逐
也称为 KV cache eviction、前缀驱逐、缓存替换
先用大白话
KV cache 驱逐会从某一缓存层移除保留的注意力状态，把空间交给其他工作使用。
技术定义
KV cache 驱逐按替换策略回收不再保留于某一存储层的注意力状态块。
工程细节
前缀缓存可以丢弃非活跃块，同时保护运行中请求仍在引用的块。替换策略可依据最近访问时间、复用情况和前缀结构。移除加速器上的副本不一定意味着所有副本都已丢失；更低层缓存可能仍保留状态，供之后重新加载。
为什么重要
如果刚被驱逐的前缀很快再次使用，系统就要支付传输或重算成本。因此，缓存占用率高并不能说明有用状态被有效保留。命中率、复用间隔和工作负载的分支结构有助于解释实际代价。
如何在 InferenceX 中解读
AgentX 的工具等待和子智能体突发会产生不同的缓存保留需求。应区分非活跃前缀驱逐与执行中请求的抢占，也应区分丢弃状态与将状态 offload 到其他存储层。