NVIDIA 开源 Reshard 集合通信,强化学习后训练的权重同步比「先聚合再广播」快 2.7 到 5.7 倍
强化学习后训练里「训练卡把新权重同步给推理卡」这一步,有了只传最少数据的开源实现。
// 要点
- 训练与推理分离部署时,需要定期把训练卡上的新权重同步到推理卡(refit);NVIDIA 估计当今最大开放权重模型每次 refit 约 10 TB
- Reshard 把 refit 改写成 DTensor 到 DTensor 的传输,在任意源、目标切分布局之间只传理论最小数据量
- 开源参考实现 NCCL M2N Reshard 放在 NVIDIA/nccl-extensions 仓库
- 在 DGX H100 和 DGX GB200 上的 NeMo RL 测试中,对 Qwen 3 235B、DeepSeek v3 671B 等模型提速 2.7 到 5.7 倍
开发者视角大多数产品团队不会自己做百亿级强化学习,但这说明开放模型的后训练成本还在被工程手段压低,自训专用模型的门槛会继续下降。我的建议是先把评测集和奖励信号准备好,等这类工具进到 NeMo RL 的默认路径再动手。