推理服务
KV-cache 亲和性
也称为 KV-cache affinity、cache affinity、session affinity、rank-aware routing、会话亲和性
先用大白话
KV-cache 亲和性让相关请求回到已经保存其前缀的 worker 或 rank，减少不必要的缓存传输或重复 prefill。
技术定义
KV-cache 亲和性是一种路由偏好，让请求复用的状态与被选中处理请求的 worker 或 rank 尽量保持局部性。
工程细节
一台主机可以包含多个数据并行 rank，各自持有独立缓存，因此只选对主机仍可能无法命中所需前缀。策略可以追踪前缀位置，或让会话继续使用原 worker；当该 worker 满载或不可用时，仍允许改派。亲和性是一种偏好，并不保证状态未被驱逐。
为什么重要
局部性可以提高缓存复用，却也可能让负载集中于少数 worker。调度器需要权衡省下的计算或传输与排队、容量及故障切换成本。会话亲和性与一般的前缀感知路由有所重叠，但不是完全相同的策略。
如何在 InferenceX 中解读
TPU Qwen3.5 文章将 decode 缓存命中率提升归因于路由到准确的数据并行 rank，也描述了在 decode 主机未满时保持会话绑定的策略，说明缓存局部性与准入控制相互关联。