NVMe offloading
也称为 NVMe offload、SSD offloading、闪存 KV cache 卸载
先用大白话
NVMe offloading 将模型数据或注意力状态放到 SSD，以更昂贵的访问路径换取更便宜的容量。
技术定义
NVMe offloading 把模型参数或可复用 KV cache 放到加速器和主机内存之下的 NVMe SSD 层。参数查表与 KV 前缀恢复是同一存储层级的两种不同用途。
工程细节
KV offloading 可以在 DRAM 淘汰后继续保存前缀，Engram offload 则检索已学习的 embedding 行。文章测试了 SSD 支持的内存映射表，其页面可能仍驻留文件系统缓存。未经优化的路径先把行 ID 复制到 CPU，去重并收集行，再传到 GPU。Warm page cache 消除了设备读取，但不能消除这些协调与复制。
为什么重要
NVMe offloading 实际上延长了长生命周期智能体会话的缓存存活时间，当 agent 需要等待工具、人类或 CI 数分钟时这一点尤为重要。它高度依赖工作负载：如果高并发部署下 DRAM offloading 已经在拖累延迟，更慢的一层也救不回来，因为瓶颈在重载带宽而不是容量。
如何在 InferenceX 中解读
文章的 B200 配置在约 125 tokens/s/user 时，DRAM 每美元约提供 1.21 亿 total tokens，SSD 约为 5200 万。实验未启用 GDS，测量的是完整服务路径而非孤立的 SSD 延迟。该参数 offload 实验不能证明 AgentX 已支持 NVMe KV offloading。
参考资料
在真实基准中理解这一概念
AgentX - InferenceXv3：CUDA 护城河在 agentic 推理中还站得住吗？
开源价值 300 万美元的数据集、100 万以上上下文长度、多轮、子智能体、95%+ KVCache 命中率、GB300 NVL72、MI355X、B200
Agentic 工作负载简述
多轮会话、长上下文与近乎完全的 prefix 复用，让 agentic 推理成为一个系统问题，也改变了基准测试需要测量的内容
Engram 与 embedding：面向高效 DRAM/SSD offload 的协同设计
新模型架构对 DRAM/NVMe 市场的影响，DeepSeek V4.1 Flash、AgentX、InferenceX 与 NVMe 实验