推理服务
KV 缓存
也称为 KV cache、键值缓存、注意力缓存
先用大白话
KV 缓存是模型对当前对话的工作记忆，让它生成新 token 时不必每次从头重读。
技术定义
KV 缓存保存已经处理过的 token 的注意力 key/value 状态，避免每个解码步重新计算它们。
工程细节
缓存大小随序列长度、批大小、层数以及注意力头数量和宽度增长；解码时会从加速器内存反复读取，因此容量与带宽都很重要。
为什么重要
KV 缓存压力限制并发与长上下文服务。缓存量化、分页分配、潜在注意力、前缀复用和分离式传输系统都在降低其容量或移动成本。
如何在 InferenceX 中解读
除非方案另有说明，InferenceX 在随机数据比较中禁用前缀缓存，避免无关请求因偶然命中而获得不真实优势。
参考资料
在真实基准中理解这一概念
InferenceX v2：NVIDIA Blackwell 对决 AMD 与 Hopper — 前身为 InferenceMAX
GB300 NVL72、MI355X、B200、H100、分离式推理、宽专家并行、大规模混合专家、SGLang、vLLM、TRTLLM
AMD MI355X Kimi K2.5 推理：vLLM 25 天内吞吐量提升 7.7 倍、交互性最高提升 15 倍
vLLM PR #35850 修复了 MI355X CDNA4 上的 AITER MLA 分发路径，解锁 TP=8 下的 Kimi K2.5 推理性能，随 vLLM 0.18 一同发布
SGLang 0.5.6 在 B200 DeepSeek R1 FP4 上的表现：低并发下最高提升 1.8 倍
针对 DeepSeek V3 的分段 CUDA graph、统一事件循环和 JIT 内核将 8k/1k 吞吐量从 508 提升至 907 tok/s/GPU，使用相同的 16 GPU B200 资源池