概述
Muse Spark Open 是 Meta 面向代码与智能体任务发布的开放权重模型,支持文本、图像、视频和音频输入,输出文本。Meta 公布的总参数量为 816B,每个 token 激活 42B,上下文为 1,048,576 token(Meta 文档、发布公告)。
InferenceX 将这一模型系列标为 Muse Spark 1.3/Open,因为 Open 与 Muse Spark 1.3 共享基础模型,并针对独立部署增加了安全后训练(PyTorch 公告)。基准结果使用 Open checkpoint,不代表 Meta 托管的 Muse Spark 1.3 服务性能或其生产环境推理成本。上方发布日期指 Open 的发布时间。
架构
- 文本主干:62 层 Transformer,隐藏维度 8192,词表大小 202048。
- 注意力:128 个 query head、16 个 KV head,head 维度 64;使用 QK 归一化,以及注意力输出门控与归一化。
- 层分布:46 层滑动窗口注意力,窗口为 2048 token;另有 16 层全局注意力。全局注意力的索引为 1、5、…、61(从 0 开始计数)。滑动窗口层使用 RoPE,全局层使用 NoPE。
- Expert:每层有 256 个路由 expert,每个 token 选取 top-8,没有共享 expert。Pooled MoE 在 4096 维潜在空间中计算,expert 中间维度也为 4096,不能直接套用完整隐藏维度的普通 expert FFN 示意图。
- 残差:采用可学习的残差门控,不能无说明地画成普通残差相加。
- 感知输入:图像与视频感知编码器、音频编码器的输出送入语言主干。
上述层数与张量维度来自 AMD 发布的 checkpoint 配置与 Transformers 实现文档。Meta 的原始 checkpoint 配置需要申请访问权限,因此这里列出上述公开来源以说明数据出处,而不暗示该文件可以自由获取。
Checkpoint 与适用范围
Meta 以 Muse Model License 发布 BF16 和 NVFP4 checkpoint,AMD 另行发布 MXFP4 checkpoint。816B 是厂商公布的标称参数量,与仓库中的张量统计值不同,引用时应保留其原本的统计口径。架构说明属于静态元数据;下方 InferenceX 图表展示实测的推理性能(Meta 文档)。