模型架构
推理时消融
也称为 inference-time ablation
先用大白话
推理时消融禁用已训练模型的一部分，用来测量模型对该部分的依赖。
技术定义
推理时消融在评估期间改变或移除模型组件，但不重新训练模型来适应这种变化。
工程细节
对于训练时使用 Engram 的模型，抑制 Engram 会改变下游特征和专家选择。损失变化测量的是训练与推理不匹配时的依赖程度，而非分别训练的有 Engram 与无 Engram 模型之间的质量差异。
为什么重要
不同任务和评估流程可能反应不同。文章报告所有评估领域的 token 似然均恶化，而 GSM8K 准确率仍处于实测运行波动范围内。一个分数没有变化，不能证明被移除的组件普遍没有必要。
如何在 InferenceX 中解读
CRUXEval 实验在 teacher forcing 下分别测试自然重新路由和固定原有专家选择，还比较了仅在 prefill、仅在 decode 和全程移除 Engram。它们与保留记忆、仅更换存储层级的实验不同。