开源 #开源模型 2026-11-22 · 原文发布 11-19

NVIDIA 把 Dynamo 接进强化学习训练:KV 感知路由和增量权重分发让 H Company 单步训练时间最多缩短 20%、GPU 时最多省 5%

RL 训练里大头是推理生成 rollout。这一条讲 Dynamo 怎么处理慢 rollout、重复前缀和权重更新,以及已接入哪些开源 RL 框架。

图片来源:NVIDIA Technical Blog
一手来源 NVIDIA Technical Blog · developer.nvidia.com 读原文 ↗

// 要点

  • Dynamo 位于 rollout 编排与推理 worker 之间,负责路由、worker 管理和遥测;RL 框架仍掌管优化、奖励、环境和样本接收。
  • KV 感知路由在缓存复用和 worker 负载之间取平衡,减少多次尝试共用指令或代码仓库上下文时的重复前缀计算。
  • ModelExpress 传输压缩后的增量权重并复用已在显存中的权重;worker 故障时请求转到健康容量,替换 worker 用检查点加增量追上。
  • H Company 使用后平均单步训练时间最多缩短 20%、GPU 时最多减少 5%;已有 verl、NeMo RL、Slime、prime-rl 的开源集成。

开发者视角和昨天 Hugging Face 的 harness 适配器、前几天的 DaisyRose-27B 放在一起,小团队做智能体 RL 的工具链越来越完整,瓶颈也从算法转到推理基础设施。真打算给自家流程训适配器的,我会先看用的 RL 框架是否在这四个集成里,再评估要不要上 Dynamo;规模不大时 5% 的 GPU 时节省未必抵得上引入新组件的成本。

// 来龙去脉 · 来自 #开源模型 专题

看完整时间线 →
  1. 11-22 AWS 发布分布式 KV 缓存智能体技能:在编码智能体里评估并搭建 ElastiCache 共享 KV 层,自托管推理成本最多降 40%、首 token 延迟最多降 80%
  2. 11-22 SageMaker JumpStart 上线模型排行榜:70 多个 LLM 在同一评测设置下比质量,并实测首 token 延迟、吞吐和实例成本
  3. 11-22 NVIDIA 开源 Dynamo 背后的 Rust 工具调用解析器 frontend-crates,用跨模型家族共享的一致性测试集让 AI 智能体给新模型写解析器

每周一,一封邮件看完 AI 大事

每周一早上,把过去 7 天最值得关注的 6 件 AI 大事和我的解读发到你邮箱。

邮箱只用于发送周报,不会提供给任何第三方;每封邮件底部都可以一键退订。 看看最近一期 →