模型架构
条件记忆
也称为 conditional memory
先用大白话
条件记忆根据输入选择相应条目，仅提供本次计算需要的已学习信息。
技术定义
条件记忆是一种模型机制：根据输入检索已学习记忆参数的一部分，而不是每处理一个 token 都访问整张记忆表。
工程细节
文章讨论的 Engram 设计由 token 模式决定行地址，再由 gate 控制取回特征的贡献。记忆参数属于已学习的模型数据，与 KV cache 保存的请求相关注意力状态不同。
为什么重要
记忆表的总大小可以远大于单 token 实际读取的字节数。因此，决定存放层级时，需要分别评估容量要求与每 token 访问流量，不能把两者混为一谈。
如何在 InferenceX 中解读
文章中的 Engram 表很大，但模型每处理一个 token 位置只需约 12.4 KiB 的行数据。这种稀疏性支持尝试 offload，并不保证任意 CPU 或 SSD 实现都能改善服务成本。