软件栈
HiCache
也称为 SGLang HiCache、hierarchical KV cache、分层 KV cache
先用大白话
HiCache 把 SGLang 的前缀缓存扩展到加速器内存之外，在主机内存和可选的存储后端中保留可复用的注意力状态。
技术定义
HiCache 是 SGLang 的分层 KV-cache 系统，将基于 radix 的前缀复用扩展到加速器内存、实例私有的主机内存及可选的存储层。
工程细节
该系统记录缓存状态所在的层级，并管理加载、预取与回写。命中主机内存后，仍需把状态传入设备才能用于计算。主机内存属于单个推理实例；跨实例复用需要配置具有相应共享范围的存储后端。具体传输实现和可支持的模型状态取决于服务栈。
为什么重要
保留更多前缀可减少长多轮负载中的重复 prefill，但缓存命中能否缩短服务时间，还取决于传输延迟、带宽和驱逐策略。高命中率本身不能证明端到端延迟更低。
如何在 InferenceX 中解读
TPU 文章介绍了 Muse Spark Open 在高并发下通过 TPU-Sync 使用 SGLang HiCache 进行主机 DRAM offload 的配置。这一实测配置并不意味着所有 HiCache 后端或配置都支持相同的加速器与模型组合。