推理仪表板 / 模型

Meta 标志

Muse Spark 1.3/Open

Meta 的多模态 MoE 模型,总参数量 816B、每个 token 激活 42B,采用 pooled experts 与门控残差,支持 1M token 上下文。

查看 Muse Spark 1.3/Open 推理基准测试:各芯片的 tok/s 与 $/M tok
Meta·发布日期 2026 年 10 月 15 日
模型架构MoE · GQA · 816B

Pooled expert 在 4,096 维潜在空间中计算,通过 pool/unpool 投影连接 8,192 维残差流;展开的 FFN 展示单个路由 expert。

特性: Pooled MoE(潜在维度 4096) · 可学习残差门控 · 原生支持文本、图像、视频和音频输入

来源

发布方 Meta,发布于 2026年10月15日

概述

Muse Spark Open 是 Meta 面向代码与智能体任务发布的开放权重模型,支持文本、图像、视频和音频输入,输出文本。Meta 公布的总参数量为 816B,每个 token 激活 42B,上下文为 1,048,576 token(Meta 文档、发布公告)。

InferenceX 将这一模型系列标为 Muse Spark 1.3/Open,因为 Open 与 Muse Spark 1.3 共享基础模型,并针对独立部署增加了安全后训练(PyTorch 公告)。基准结果使用 Open checkpoint,不代表 Meta 托管的 Muse Spark 1.3 服务性能或其生产环境推理成本。上方发布日期指 Open 的发布时间。

架构

  • 文本主干:62 层 Transformer,隐藏维度 8192,词表大小 202048。
  • 注意力:128 个 query head、16 个 KV head,head 维度 64;使用 QK 归一化,以及注意力输出门控与归一化。
  • 层分布:46 层滑动窗口注意力,窗口为 2048 token;另有 16 层全局注意力。全局注意力的索引为 1、5、…、61(从 0 开始计数)。滑动窗口层使用 RoPE,全局层使用 NoPE。
  • Expert:每层有 256 个路由 expert,每个 token 选取 top-8,没有共享 expert。Pooled MoE 在 4096 维潜在空间中计算,expert 中间维度也为 4096,不能直接套用完整隐藏维度的普通 expert FFN 示意图。
  • 残差:采用可学习的残差门控,不能无说明地画成普通残差相加。
  • 感知输入:图像与视频感知编码器、音频编码器的输出送入语言主干。

上述层数与张量维度来自 AMD 发布的 checkpoint 配置与 Transformers 实现文档。Meta 的原始 checkpoint 配置需要申请访问权限,因此这里列出上述公开来源以说明数据出处,而不暗示该文件可以自由获取。

Checkpoint 与适用范围

Meta 以 Muse Model License 发布 BF16 和 NVFP4 checkpoint,AMD 另行发布 MXFP4 checkpoint。816B 是厂商公布的标称参数量,与仓库中的张量统计值不同,引用时应保留其原本的统计口径。架构说明属于静态元数据;下方 InferenceX 图表展示实测的推理性能(Meta 文档)。

Muse Spark 1.3/Open 推理性能(AgentX)

展示 Muse Spark 1.3/Open 816B 在 AgentX 工作负载下的 InferenceX 实时基准测试结果,覆盖所有有数据的芯片配置,并以每美元总 token 数为比较指标。

在完整仪表板中查看
运行信息