推理服务
KV 工作集
也称为 KV working set、KV cache 工作集、活跃 KV 占用
先用大白话
KV 工作集是在特定时间段内，活跃请求和复用前缀需要使用的注意力状态。
技术定义
KV 工作集是工作负载在指定时间段和存储层级内使用的一组注意力 key、value 状态。
工程细节
其大小取决于上下文长度、并发序列数、共享前缀、缓存精度和模型架构。统计实际驻留内存时，共享块不应按请求数重复计入。已分配的缓存容量还可能包含空闲块，或暂时不属于当前工作集的保留前缀。
为什么重要
当频繁复用的状态无法全部放入加速器内存时，系统必须传输、驱逐或重新计算这些状态。因此，即使模型权重仍有充足空间，并发增加也可能造成延迟突变。
如何在 InferenceX 中解读
AgentX 的长会话和重叠分支会给 KV 工作集带来压力。比较吞吐量时应同时查看缓存容量及 offload 策略；仅凭加速器内存总量，无法判断一套配置能保留多少有用状态。