开源 #开源模型 2026-10-16 · 原文发布 10-15

Meta 开放 Muse Spark Open 权重:816B 总参数、42B 激活的多模态 MoE,上下文 1M

Meta 把 Muse Spark 系列的一个版本以开放权重发出,文本、图片、音频、视频都能输入,配套了从多卡集群到 Mac 的部署方案。

一手来源 Hugging Face 博客 · huggingface.co 读原文 ↗

// 要点

  • 约 816B 总参数、每 token 激活约 42B;每层 256 个专家,每 token 选 8 个;上下文最长 1M token。
  • 提供 BF16(约 1.5 TB)和 NVFP4 两种权重;NVFP4 在 Transformers 中单个 B200 节点即可运行,BF16 需要 4 个 8 卡 H200 节点。
  • 推理无法关闭,强度分 low、medium、high、xhigh 四档,默认 xhigh。
  • llama.cpp 的 2-bit 量化在 512 GB 的 Mac M3 Ultra 上跑到 18 token/s,占用约 304 GB;文中没有给出基准测试分数,也没有写明许可证。

开发者视角Hugging Face 的文章称它是迄今能力最强的美国开放权重模型,但对我这样的小团队,它更像是「可以私有化的前沿模型」而不是「可以随手跑的模型」:单个 B200 节点是起步价。我会等许可证写清楚、有第三方评测之后,再拿它和闭源 API 比 AI 云盘的长文档问答;另外推理不能关、默认 xhigh,延迟和 token 开销要先算清楚。

// 来龙去脉 · 来自 #开源模型 专题

看完整时间线 →
  1. 10-16 NVIDIA 开放 120B 的 Nemotron 3.5 Super VL,连同权重放出数据集和训练配方;74B-A9B 的 Bolt 原生 2-bit 装进 24GB
  2. 10-16 Mistral 发布时间序列模型 Timestral:5M 到 209M 四档,CPU 上 140 毫秒出一天预测
  3. 10-15 Microsoft 开源 UserRepGen-4B(MIT):从多轮对话生成用户画像,供用户模拟器使用,保真度评分 4.95 对 GPT-5.5 的 3.90