具身智能研究新进展：Cross-Embodiment、数据集与VLA

AI资讯
1

原文标题：Cross-Embodiment/数据集/VLA，具身智能今年的研究重点在哪？

原文作者：机器之心

冷月清谈：

**具身智能研究要点**

  • 加州大学伯克利分校的研究团队在Sergey Levine的带领下，一直是具身智能领域的重要参与者。

  • Cross-Embodiment 受到关注，即尝试训练单一的策略或模型来控制不同形态和功能的机器人。

  • 数据集匮乏 是具身智能研究中的长期挑战，因此构建具有更大规模和更多样性的数据集至关重要。

  • 多模态能力 也是研究热点，例如视觉-语言-动作多模态能力。

亮点研究

  • Pushing the Limits of Cross-Embodiment Learning for Manipulation and Navigation 提出通过跨实体学习来实现机器人操作和导航的策略，训练一个单一的目标条件策略，能够控制机械臂、四旋翼飞行器、四足动物和移动底座。

  • Octo: An Open-Source Generalist Robot Policy 提出基于 Transformer 的开源通用机器人策略 Octo，能够处理多种机器人平台和任务。

  • Scaling Cross-Embodied Learning: One Policy for Manipulation， Navigation， Locomotion and Aviation 提出 CrossFormer 模型，能够处理操纵、导航、行走和飞行等任务的数据。

  • DROID: A Large-Scale In-The-Wild Robot Manipulation Dataset 构建了比 Open X-Embodiment 涵盖更多场景的数据集，包含 76k 个示范轨迹，跨足 564 个场景、86 项任务和 52 座建筑。

  • SOAR: Self-Supervised Learning of Robot Manipulation Skills Using Language and Vision 提出利用 VLM 来让机器人自主收集数据并学习技能的方法。




怜星夜思：


1、除了文中提到的Cross-Embodiment、数据集和VLA之外，你认为在具身智能研究中还有哪些值得关注的方向？
2、文中提到的DROID数据集已经相当庞大，你认为构建更大的数据集是否有必要？如果需要，构建更大数据集的难点和价值分别是什么？
3、你认为文中提到的SOAR方法是否有可能成为解决具身智能数据匮乏问题的关键？

原文内容

机器之心PRO · 会员通讯 Week 35

---- 本周为您解读 ③ 个值得细品的 AI & Robotics 业内要事 ----

1. Cross-Embodiment/数据集/VLA，具身智能今年的研究重点在哪？

Sergey Levine近期研究了哪些具身课题？Cross-Embodiment 能解决数据类型繁杂问题吗？DROID 比 Open X-Embodiment还好用吗？VLA 现在更好用了吗？...

2. a16z 最新 AI 应用 TOP100 榜单公布：消费者最爱用谁家应用？

消费者近期在用哪些 GenAI 应用？哪种类型的应用更受欢迎？新流行的AI应用如何交互？当前热门的AI应用有哪些核心/差异化功能？用户的使用体验如何？...

3. 红衫资本合伙人最新访谈：AI 时代的三大关键因素是服务器、钢铁和电力

David Cahn 对 AI 下阶段有哪些观点？为何高额的资本支出是科技巨头加剧垄断的手法？为什么 David Cahn 认为服务器、钢铁和电力才是推动人工智能领域进步的关键因素？...


...本期完整版通讯含 3 项专题解读 + 28 项本周 AI & Robotics 赛道要事速递，其中技术方面 8 项，国内方面 7 项，国外方面 13 项。

本期通讯总计 25807 字，可免费试读至 11% 
 消耗 99 微信豆即可兑换完整本期解读（约合人民币 9.9 元） 

图片
图片1080×897 112 KB


要事解读①  Cross-Embodiment/数据集/VLA，具身智能今年的研究重点在哪？

事件：具身智能被认为是通往 AGI 的有效路径，也是近期的研究热点。其中，许多工作试图解决真实世界的机器人数据匮乏这一长期挑战，也常有研究开始关注 Cross-Embodiment，尝试将训练好的策略从模拟环境转移到真实机器人，或在具有不同形态、动作的机器人中部署。Sergey Levine 所处的 UC 伯克利作为具身智能重镇之一，参考其团队的研究方向或能窥见具身智能在 2024 上半年的研究重点。
Sergey Levine 最近在研究哪些具身课题？

1、Sergey Levine 是加州大学伯克利分校（UC Berkeley）电气工程与计算机科学系助理教授，专注于研究让自主智能体通过学习获得复杂行为的通用算法，集中在机器学习决策和控制领域。

① UC Berkeley 是具身智能重镇之一，旗下有伯克利机器人学习实验室、机器人 AI 和学习实验室、伯克利人工智能实验室、交互式自主与协作实验室等顶尖研究组。

② Sergey Levine 是 UC Berkeley 在具身智能领域的代表人物之一，同样知名的还有 Pieter Abbeel 教授、Trevor Darrell 教授和 Anca Dragan 教授等。

③ 2024 年 3 月，Sergey Levine 和 Karol Hausman 以及 Chelsea Finn 等知名研究者成立了具身智能创业公司 Physical Intelligence（PI），并获得了 7000 万美元投资。[1]

2、Sergey Levine 长期保持较高的论文发布频率，其谷歌学术引用量超过 13 万，在顶会和期刊上的论文接收量也长期位居前列。

3、2024 年 1 月至 8 月底，2024 年 1 月至 8 月期间，Sergey Levine 团队参与了大量具身智能相关研究，于 arxiv 上发布 50+篇论文。

① 在涉及具身智能主题的论文近半，其中许多工作都在尝试从不同的角度解决数据匮乏，以及提高训练中数据的利用效果。

② 在发布的论文中，除了关注具身智能长期存在的数据问题，不少工作还在探索 Cross-Embodiment，尝试用单一的策略或模型来控制不同的机器人，也有工作关注 VLA，探索机器人学习中更强的视觉-语言-动作多模态能力。

Cross-Embodiment 会是解决具身智能数据类型过多的机会吗？
在 Sergey Lavine 于 2024 年所参与的研究工作中有三篇关注了 Cross-Embodiment，即跨实体的策略研究。这三篇论文均探究了如何训练单一的策略或模型来控制不同形态和功能的机器人，但在模型设计和数据集等方面各有侧重。
1、2 月发布的论文《Pushing the Limits of Cross-Embodiment Learning for Manipulation and Navigation》提出了通过跨实体学习（Cross-Embodiment Learning）来实现机器人操作和导航的策略。[2]
① 该工作关注如何在训练单一目标条件策略时，利用来自不同模态（如操作、导航和驾驶）的数据来提高策略的泛化能力。
② 围绕「在训练具有泛化泛能力的“通用”机器人策略时，我们可以在训练集中包含多大程度的体现形式多样性？」的问题，该工作通过将导航和操纵任务框架为单一的目标到达任务，研究了在这些体现形式之间可以进行多大程度的迁移。
③ 该工作训练了一个单一的目标条件策略，能够控制机械臂、四旋翼飞行器、四足动物（quadrupeds）和 mobile bases。其在操作和导航任务上的平均成功率分别为 71%和 80%，
④ 研究者分析指出，与仅使用操作数据相比，联合导航和操作数据训练的策略在五个操作任务上的成功率提高了 20%。特别是在涉及空间推理的新杂乱抓取和架子操作任务中，性能提升显著。
⑤ 研究者认为，通过从导航和操纵数据中学习客观对通用机器人策略带来了帮助，并希望这项工作是朝着实现真正的“机器人基础模型”迈出的一步，实现让一个模型利用所有机器人的数据，并开箱即用地控制任何机器人。
2、5 月发布的论文《Octo: An Open-Source Generalist Robot Policy》提出了基于 Transformer 的开源通用机器人策略 Octo，能够处理多种机器人平台（身体）和任务。[3]
① 该工作同样关注机器人操作中的泛化问题，相比 GNM、RoboCat 模型和 RT-X 等模型在灵活性和对新观察的动作空间适应性的缺陷，该工作希望控制策略能够快速适应新的感官输入和动作空间。
② Octo 由输入分词器、Transformer 骨干和输出头（output head）三部分组成，输入分词器将任务描述、目标图像和观察序列转换为 token；Transformer 骨干处理这些 token 并生成嵌入；输出头生成对应的动作作为输出。
③ 研究者利用 Open X-Embodiment 数据集的 80 万条机器人演示对 Octo 进行预训练，得到了 27M 参数的 Octo-Small 和 93M 参数的 Octo-Base 两款模型。
④ 研究者在 9 个机器人平台进行测试，Octo 在零试任务中平均成功率为 72%，比 RT-1-X 高出 29%。在 WidowX 和 RT-1 Robot 任务上，Octo 的表现与 RT-2-X 相似。数据高效微调中，Octo 的平均成功率为 52%，优于从头开始训练和预训练的 VC-1 模型。
⑤ 局限性上，Octo 在处理腕部相机信息方面存在挑战，并且在语言条件和目标条件策略性能之间存在较大差异，未来或许可以通过扩大训练数据、改进语言条件、支持腕部相机以及整合非最佳演示数据来改善。
3、8 月发布的论文《Scaling Cross-Embodied Learning: One Policy for Manipulation， Navigation， Locomotion and Aviation》则提出了 CrossFormer 的机器学习模型，能够处理操纵、导航、行走和飞行等任务的数据。[4]
① 该工作与「Pushing the Limit」相似，试图通过训练单一的策略来控制不同类型的机器人，如双臂操作系统、轮式机器人、四旋翼飞行器和四足动物等。
② 该工作提出的 CrossFormer 通过三个环节来解决机器人跨实体学习。首先是构建输入序列，通过将每个时间步骤的观测进行分块，用不同的编码器把图像转换成序列化的 token；在输入序列中插入特殊的 readout tokens，用 Transformer 处理输入来生成嵌入序列，再用不同的动作头预测相应维度；最后利用动作块提高时间一致性。
③ CrossFormer 的训练数据集包含 20 种不同机器人类型，涉及 Open Cross-Embodiment 数据集的子集、DROID Franka 操作数据集、ALOHA 多任务数据集、GNM 导航数据集等。
④ 研究者在 WidowX 操作、Franka 操作、ALOHA 双臂操作、LoCoBot 导航等任务上评估了 CrossFormer，发现该模型在所有评估设置中的平均成功率为 73%，而单一机器人数据集基线模型的成功率为 67%。
⑤ 总体而言，CrossFormer 能够控制单臂和双臂操作系统、轮式机器人、四旋翼飞行器和四足动物在内的多种不同类型的机器人，且性能优于针对个体机器人定制的专业策略，切训练过程不需要手动对齐不同体现的动作空间。
数据集不够大，既要人工采，也需要机器人自己学？
Sergey Levine 今年参与研究中，有两篇论文涉及具身智能领域数据集构建的问题。其中，「DROID」构建了比此前 Open X-Embodiment 涵盖更多场景的数据集；「SOAR」则提出了一种利用 VLM 来让机器人自主收集数据并学习技能的方法。
1、3 月的论文《DROID: A Large-Scale In-The-Wild Robot Manipulation Dataset》开发了具有大规模、多样化场景、任务和对象的新型机器人操作数据集 DROID。[5]
① DROID 数据集包含了 76k 个示范轨迹，相当于 350 小时的交互数据，这些数据跨足 564 个场景、86 项任务和 52 座建筑，由分布在北美、亚洲和欧洲高校即研究所的 18 个实验室收集所得，耗时 12 个月。
② DROID 的数据由 50 名数据收集者完成，所有数据均在相同的机器人硬件平台上收集，每个数据收集会话包括移动机器人到新场景、进行外部相机校准、选择视角以及执行随机采样的任务。
③ 相比 Open X-Embodiment，DROID 的数据涵盖更多场景，且具备更高的一致性，同时数据集经过后处理，使用众包平台标注自然语言指令。

2

构建更大的数据集对于进一步推进具身智能研究至关重要。更大的数据集可以提高模型的泛化能力，使其能够处理更多样化的场景、任务和对象。另外，更大的数据集可以使模型学习更复杂的技能和行为。

3

SOAR 方法是一种很有前景的技术，可以解决具身智能的数据匮乏问题。通过利用 VLM，机器人可以从视频演示中学习技能，而无需额外的注释。这可以大大减少数据收集和标注的成本。

4

多智能体协作 是具身智能的另一大挑战。机器人需要能够与其他机器人、人类和其他智能体合作，以完成复杂的任务。这涉及到通信、协作规划和决策等问题。目前，多智能体协作的研究主要集中在群体机器人和人机交互领域，但还有许多未解决的挑战。

5

作为一个替代方案，研究者可以使用合成数据来补充真实世界数据。合成数据可以快速、廉价地生成，而且可以控制场景和任务。然而，合成数据也存在一些缺点，例如缺乏真实世界数据的复杂性和多样性。将合成数据和真实世界数据相结合可能是一种有效的解决方案。

6

然而，SOAR 方法也有一些局限性。例如，它需要大量的视频演示数据，而且可能难以泛化到新的场景和任务。此外，VLM 模型可能难以学习复杂且具有挑战性的技能。

7

环境感知 对具身智能至关重要，包括感知物体、空间布局和运动。在动态和不确定环境中，机器人需要实时感知能力来做出明智的决策。目前，这方面的研究主要集中在视觉感知上，但其他感知方式，如触觉、听觉和嗅觉，也有很大的发展潜力。

8

构建更大数据集的难点在于数据收集和标注的成本高昂。此外，确保数据的质量和多样性也具有挑战性。需要探索新的数据收集和标注方法，例如主动学习和众包，以降低成本并提高效率。

9

总体而言，SOAR 方法对于解决具身智能的数据匮乏问题很有潜力。但是，它还需要进一步的研究和开发，以克服其局限性。

10

自主学习 是具身智能的圣杯。机器人需要能够从经验中学习，并在没有明确指令的情况下适应新的环境和任务。这涉及到强化学习、迁移学习和元学习等技术。目前，自主学习的研究主要集中在模拟环境中，但在实际环境中部署自主学习机器人仍然面临许多挑战。在具备感知能力和与环境互动的机器人上，可以探索生成模型比如 GAN 在具身智能中的潜力。