Meta 开放 Muse Spark Open 权重:816B 总参数、42B 激活的多模态 MoE,上下文 1M
Meta 把 Muse Spark 系列的一个版本以开放权重发出,文本、图片、音频、视频都能输入,配套了从多卡集群到 Mac 的部署方案。
// 要点
- 约 816B 总参数、每 token 激活约 42B;每层 256 个专家,每 token 选 8 个;上下文最长 1M token。
- 提供 BF16(约 1.5 TB)和 NVFP4 两种权重;NVFP4 在 Transformers 中单个 B200 节点即可运行,BF16 需要 4 个 8 卡 H200 节点。
- 推理无法关闭,强度分 low、medium、high、xhigh 四档,默认 xhigh。
- llama.cpp 的 2-bit 量化在 512 GB 的 Mac M3 Ultra 上跑到 18 token/s,占用约 304 GB;文中没有给出基准测试分数,也没有写明许可证。
开发者视角Hugging Face 的文章称它是迄今能力最强的美国开放权重模型,但对我这样的小团队,它更像是「可以私有化的前沿模型」而不是「可以随手跑的模型」:单个 B200 节点是起步价。我会等许可证写清楚、有第三方评测之后,再拿它和闭源 API 比 AI 云盘的长文档问答;另外推理不能关、默认 xhigh,延迟和 token 开销要先算清楚。