模型架构
Teacher forcing
也称为 教师强制
先用大白话
Teacher forcing 提供参考 token 历史，让不同模型版本在同一续写序列上评分。
技术定义
Teacher forcing 以参考 token 而非模型自己采样的输出作为条件，允许沿固定序列比较 token 级损失。
工程细节
文章使用 teacher forcing 的 CRUXEval 实验，在固定 token 的情况下改变 Engram 和专家路由，从而将参考答案似然的变化与生成不同续写造成的差异区分开。
为什么重要
Teacher forcing 下的损失与自由生成任务准确率是不同指标。固定 token 历史有助于隔离干预影响，但不代表模型自行选择并扩展答案时的完整行为。
如何在 InferenceX 中解读
移除 Engram 后，答案损失从 0.2848 增至 0.3093 bits/token；再强制使用原有专家选择，损失升至 0.3375。这说明重新路由在该实验中起到部分补偿作用，不能推导出记忆与推理之间的普遍分工。