NVIDIA 把 Dynamo 接进强化学习训练:KV 感知路由和增量权重分发让 H Company 单步训练时间最多缩短 20%、GPU 时最多省 5%
RL 训练里大头是推理生成 rollout。这一条讲 Dynamo 怎么处理慢 rollout、重复前缀和权重更新,以及已接入哪些开源 RL 框架。
// 要点
- Dynamo 位于 rollout 编排与推理 worker 之间,负责路由、worker 管理和遥测;RL 框架仍掌管优化、奖励、环境和样本接收。
- KV 感知路由在缓存复用和 worker 负载之间取平衡,减少多次尝试共用指令或代码仓库上下文时的重复前缀计算。
- ModelExpress 传输压缩后的增量权重并复用已在显存中的权重;worker 故障时请求转到健康容量,替换 worker 用检查点加增量追上。
- H Company 使用后平均单步训练时间最多缩短 20%、GPU 时最多减少 5%;已有 verl、NeMo RL、Slime、prime-rl 的开源集成。
开发者视角和昨天 Hugging Face 的 harness 适配器、前几天的 DaisyRose-27B 放在一起,小团队做智能体 RL 的工具链越来越完整,瓶颈也从算法转到推理基础设施。真打算给自家流程训适配器的,我会先看用的 RL 框架是否在这四个集成里,再评估要不要上 Dynamo;规模不大时 5% 的 GPU 时节省未必抵得上引入新组件的成本。