开源 #开源模型 2026-11-09 · 原文发布 11-06

Ai2 开源机器人学习框架 ToyBlocks:85,336 条长时程示范、约 1,600 小时数据,单 GPU 最快 24 倍实时生成

一个可控的积木桌面世界,用来生成任务、训练和评测机器人;也顺带测了前沿模型当智能体的规划与感知短板。

图片来源:Ai2(Hugging Face 博客)
一手来源 Ai2(Hugging Face 博客) · huggingface.co 读原文 ↗

// 要点

  • 开放仿真资产、任务与示范生成器、训练与评测代码、验证集,以及 Molmo2-4B-tb 和 maniflow-tb 两个模型;数据含 85,336 条长时程示范、约 1.44 亿帧
  • 以 Claude Opus 5.5 做智能体,在「找字母并拼词」任务上解出或正确判定不可行的比例为 63%;自学的技能描述把成功率从 24% 提到 63%,专家手写的只有 36%
  • 加入 100 条世界模型生成的推演,策略在未见区域的成功率从 19% 升到 78%;ManiFlow 原子技能仿真 80.0%、真机 81.1%
  • 作者认为视觉-语言-动作模型对新空间布局泛化仍差,前沿模型仍会出现字母方向认错等感知错误;更大的第二批发布计划在几周内推出

开发者视角我不做机器人,但「自学的技能描述比专家手写的好用」这个结论对写智能体工具说明的人很有参考价值:工具描述不妨让模型根据实际调用结果自己改写,再拿评测集对比。我会在 PandaClaws 的工具说明上试一轮。

// 来龙去脉 · 来自 #开源模型 专题

看完整时间线 →
  1. 11-08 Kimi K3.1 Pro(Highspeed)上架 Amazon Bedrock:开放权重、原生多模态、100 万 token 上下文,支持显式提示词缓存
  2. 11-08 NVIDIA 开源 Reshard 集合通信,强化学习后训练的权重同步比「先聚合再广播」快 2.7 到 5.7 倍
  3. 11-08 Gradium 发布端侧语音合成 Phonon:约 65 MB 起,CPU 流式首段音频 p95 仅 28 毫秒,英文版 Apache 2.0

每周一,一封邮件看完 AI 大事

每周一早上,把过去 7 天最值得关注的 6 件 AI 大事和我的解读发到你邮箱。

邮箱只用于发送周报,不会提供给任何第三方;每封邮件底部都可以一键退订。 看看最近一期 →