模型架构
Embedding 表
也称为 embedding table、嵌入表
先用大白话
Embedding 表按行保存已学习向量，模型根据输入产生的标识符检索对应行。
技术定义
Embedding 表是一组用离散标识符索引的已学习向量参数，索引可以是 token ID，也可以来自多个 token 构成的模式。
工程细节
查表只选择部分行，无需与整张表相乘。Engram 在普通 token embedding 之上增加多 token 查表。表必须占用存储容量，但稀疏访问允许它与频繁使用的稠密权重放在不同层级。
为什么重要
表容量、实际读取字节数以及获取这些字节的成本是不同量。只要服务路径能高效访问较慢层级中的行，大表就不一定必须驻留在加速器显存。
如何在 InferenceX 中解读
文章将同一 Engram 表分别放入 HBM、固定页 DRAM 或 SSD 支持的内存映射。比较涵盖协调和传输成本的完整服务配置，而不是仅凭表大小预测吞吐量。