Ai2 开源机器人学习框架 ToyBlocks:85,336 条长时程示范、约 1,600 小时数据,单 GPU 最快 24 倍实时生成
一个可控的积木桌面世界,用来生成任务、训练和评测机器人;也顺带测了前沿模型当智能体的规划与感知短板。
// 要点
- 开放仿真资产、任务与示范生成器、训练与评测代码、验证集,以及 Molmo2-4B-tb 和 maniflow-tb 两个模型;数据含 85,336 条长时程示范、约 1.44 亿帧
- 以 Claude Opus 5.5 做智能体,在「找字母并拼词」任务上解出或正确判定不可行的比例为 63%;自学的技能描述把成功率从 24% 提到 63%,专家手写的只有 36%
- 加入 100 条世界模型生成的推演,策略在未见区域的成功率从 19% 升到 78%;ManiFlow 原子技能仿真 80.0%、真机 81.1%
- 作者认为视觉-语言-动作模型对新空间布局泛化仍差,前沿模型仍会出现字母方向认错等感知错误;更大的第二批发布计划在几周内推出
开发者视角我不做机器人,但「自学的技能描述比专家手写的好用」这个结论对写智能体工具说明的人很有参考价值:工具描述不妨让模型根据实际调用结果自己改写,再拿评测集对比。我会在 PandaClaws 的工具说明上试一轮。