CPU offloading
也称为 CPU offload、DRAM offloading、主机内存卸载
先用大白话
CPU offloading 把模型数据或可复用注意力状态放到主机 DRAM，释放显存，但增加主机访存成本。
技术定义
CPU offloading 将模型参数或 KV cache 放在主机 CPU DRAM，而非加速器 HBM。由服务实现决定采用显式复制，还是让 GPU 直接访问。
工程细节
KV cache offloading 通过 LMCache、SGLang HiCache、Mooncake Store、Dynamo KVBM 等系统保存请求相关注意力状态；参数 offload 则把已学习的模型数据放到 DRAM。Engram 文章中的 GPU 内核通过 UVA 直接从固定页主机内存选择并反量化稀疏 embedding 行，同时保留完整 decode graph。两类路径的访问模式不同，应分别说明。
为什么重要
当并发会话的 KV 工作集总量超过 HBM 时，DRAM offloading 决定了有多少智能体会话仍可恢复。它并非免费容量：在高并发下过度依赖 DRAM 层会增加重载流量，可能把交互性拖到可接受水平之下，所以真正值得回答的问题是这一层什么时候有用，而不是它是否存在。
如何在 InferenceX 中解读
AgentX 把 CPU KV offloading 视为允许但可选的优化。KV offload 标记与缓存命中率描述这条路径，不表示 Engram 参数放置。文章报告 B300 配置利用 DRAM offload 从 TP4 改为 TP2，Pareto 曲线最多改善 1.6x；这是特定配置的实测结果，并非 DRAM 的通用加速比。
参考资料
在真实基准中理解这一概念
AgentX - InferenceXv3：CUDA 护城河在 agentic 推理中还站得住吗？
开源价值 300 万美元的数据集、100 万以上上下文长度、多轮、子智能体、95%+ KVCache 命中率、GB300 NVL72、MI355X、B200
Agentic 工作负载简述
多轮会话、长上下文与近乎完全的 prefix 复用，让 agentic 推理成为一个系统问题，也改变了基准测试需要测量的内容
DeepSeek V4 Pro 的 AgentX 结果：B200 对比 B300 与 KV cache 工作集
多出 50% 的 HBM 能挤出额外吞吐量，逐点遥测数据说明了它究竟从何而来
Engram 与 embedding：面向高效 DRAM/SSD offload 的协同设计
新模型架构对 DRAM/NVMe 市场的影响，DeepSeek V4.1 Flash、AgentX、InferenceX 与 NVMe 实验