开源 #开源模型 2026-11-08 · 原文发布 11-06

NVIDIA 开源 Reshard 集合通信,强化学习后训练的权重同步比「先聚合再广播」快 2.7 到 5.7 倍

强化学习后训练里「训练卡把新权重同步给推理卡」这一步,有了只传最少数据的开源实现。

图片来源:NVIDIA 技术博客
一手来源 NVIDIA 技术博客 · developer.nvidia.com 读原文 ↗

// 要点

  • 训练与推理分离部署时,需要定期把训练卡上的新权重同步到推理卡(refit);NVIDIA 估计当今最大开放权重模型每次 refit 约 10 TB
  • Reshard 把 refit 改写成 DTensor 到 DTensor 的传输,在任意源、目标切分布局之间只传理论最小数据量
  • 开源参考实现 NCCL M2N Reshard 放在 NVIDIA/nccl-extensions 仓库
  • 在 DGX H100 和 DGX GB200 上的 NeMo RL 测试中,对 Qwen 3 235B、DeepSeek v3 671B 等模型提速 2.7 到 5.7 倍

开发者视角大多数产品团队不会自己做百亿级强化学习,但这说明开放模型的后训练成本还在被工程手段压低,自训专用模型的门槛会继续下降。我的建议是先把评测集和奖励信号准备好,等这类工具进到 NeMo RL 的默认路径再动手。

// 来龙去脉 · 来自 #开源模型 专题

看完整时间线 →
  1. 11-08 Kimi K3.1 Pro(Highspeed)上架 Amazon Bedrock:开放权重、原生多模态、100 万 token 上下文,支持显式提示词缓存
  2. 11-08 Gradium 发布端侧语音合成 Phonon:约 65 MB 起,CPU 流式首段音频 p95 仅 28 毫秒,英文版 Apache 2.0
  3. 11-07 Foundry Local 以 4-bit 运行 Qwen3.8-27B,约 18 GB,24 GB 显存的消费级显卡可跑 64K 上下文,并可作为 GitHub Copilot 的模型提供方

每周一,一封邮件看完 AI 大事

每周一早上,把过去 7 天最值得关注的 6 件 AI 大事和我的解读发到你邮箱。

邮箱只用于发送周报,不会提供给任何第三方;每封邮件底部都可以一键退订。 看看最近一期 →