鹏城实验室发布百万规模具身智能数据集 ARIO，助力机器人大脑训练

almosthuman2014 · 2024 年8 月 23 日 11:51

原文标题：总说具身智能的数据太贵，鹏城实验室开源百万规模标准化数据集

原文作者：机器之心

原文链接： http://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2650931346&idx=4&sn=00de4b220d0a17dcfd40444ff3963900&

冷月清谈：

**数据难题阻碍具身智能发展**

具身智能领域需要高质量大规模数据集，但当前数据获取成本高，难以达到规模。

鹏城实验室开源 ARIO 数据集

鹏城实验室联合南方科技大学、中山大学发布 ARIO 具身大规模数据集，包含 5 种模态感知数据，涵盖操作和导航任务，达到百万规模，同时保证数据统一格式和质量。

ARIO 数据集的优势

数据丰富度高：包含 2D、3D、文本、触觉、声音 5 种模态感知数据，任务类型多样。
数据规模大：三百万个样例，比现有开源数据集规模更大。
数据统一格式：设计一套针对具身大数据的格式标准，保证数据组织形式清晰，兼容不同类型机器人数据。

ARIO 数据集的来源

ARIO 数据集来自三种来源：真实环境采集、仿真引擎生成、现有开源数据集转换。真实机器人数据采集注重任务多样性，仿真数据侧重于场景模拟，开源数据集转换保证了数据的格式统一。

ARIO 数据集的统计分析

对 ARIO 数据集进行统计分析，发现当前具身数据主要集中在室内家居场景和技能，单臂机器人数据较多，人形机器人开源数据较少。

怜星夜思：

1、如何解决具身智能领域数据获取成本高的问题？
2、如何评价 ARIO 数据集的质量？
3、ARIO 数据集的发布对具身智能领域有哪些影响？

原文内容

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：[email protected]；[email protected]

该论文作者来自于鹏城实验室多智能体与具身智能研究所及南方科技大学、中山大学的师生团队，包括林倞教授（研究所所长，国家杰青，IEEE Fellow），郑锋教授，梁小丹教授，王志强（南科大），郑浩（南科大），聂云双（中大），徐文君（鹏城），叶华（鹏城）等。鹏城实验室林倞教授团队致力于打造多智能体协同与仿真训练平台、云端协同具身多模态大模型等通用基础平台，赋能工业互联网、社会治理与服务等重大应用需求。

今年以来，具身智能正在成为学术界和产业界的热门领域，相关的产品和成果层出不穷。今天，鹏城实验室多智能体与具身智能研究所（以下简称鹏城具身所）联合南方科技大学、中山大学正式发布并开源其最新的具身智能领域学术成果 ——ARIO（All Robots In One）具身大规模数据集，旨在解决当前具身智能领域所面临的数据获取难题。

论文题目：All Robots in One: A New Standard and Unified Dataset for Versatile.General-Purpose Embodied Agents
论文链接：http://arxiv.org/abs/2408.10899
项目主页：https://imaei.github.io/project_pages/ario/
鹏城实验室具身所网站链接：https://imaei.github.io/

作为具身机器人的大脑，想要让具身大模型的性能更优，关键在于能否获得高质量的具身大数据。不同于大语言模型或视觉大模型用到的文本或图像数据，具身数据无法从互联网海量内容中直接获取，而需通过真实的机器人操作来采集或高级仿真平台生成，因此具身数据的采集需要较高的时间和成本，很难达到较大的规模。

同时，当前开源的数据集也存在多项不足，如上表所示，JD ManiData、ManiWAV 和 RH20T 本身数据量不大，DROID 数据用到的机器人硬件平台比较单一，Open-X Embodiment 虽然达到了较大规模的数据量，但其感知数据模态不够丰富，而且子数据集之间的数据格式不统一，质量也参差不齐，使用数据之前需要花大量时间进行筛选和处理，难以满足复杂场景下具身智能模型的高效率和针对性的训练需求。

相比而言，此次发布的 ARIO 数据集，包含了 2D、3D、文本、触觉、声音 5 种模态的感知数据，涵盖操作和导航两大类任务，既有仿真数据，也有真实场景数据，并且包含多种机器人硬件，有很高的丰富度。在数据规模达到三百万的同时，还保证了数据的统一格式，是目前具身智能领域同时达到高质量、多样化和大规模的开源数据集。

对于具身智能的数据集而言，由于机器人有多种形态，如单臂、双臂、人形、四足等，并且感知和控制方式也各不相同，有些通过关节角度控制，有些则是通过本体或末端位姿坐标来驱动，所以具身数据本身比单纯的图像和文本数据要复杂很多，需要记录很多控制参数。而如果没有一个统一的格式，当多种类型的机器人数据聚合到一起，需要花费大量的精力去做额外的预处理。

因此鹏城实验室具身所首先设计了一套针对具身大数据的格式标准，该标准能记录多种形态的机器人控制参数，并且有结构清晰的数据组织形式，还能兼容不同帧率的传感器并记录对应的时间戳，以满足具身智能大模型对感知和控制时序的精确要求。下图展示了 ARIO 数据集的总体设计。

图 1. ARIO 数据集总体设计

ARIO 数据集，共有 258 个场景序列，321064 个任务，303 万个样例。ARIO 的数据有 3 大来源，一是通过布置真实环境下的场景和任务进行真人采集；二是基于 MuJoCo、Habitat 等仿真引擎，设计虚拟场景和物体模型，通过仿真引擎驱动机器人模型的方式生成；三是将当前已开源的具身数据集，逐个分析和处理，转换为符合 ARIO 格式标准的数据。下面展示了 ARIO 数据集的具体构成，以及 3 个来源的流程和示例。

图 2. ARIO 数据 3 个来源

真实场景的高质量的机器人数据不易获取，但意义重大。鹏城实验室基于 Cobot Magic 主从双臂机器人，设计了 30 多种任务，包括简单 —— 中等 —— 困难 3 个操作难易等级，并通过增加干扰物体、随机改变物体和机器人位置、改变布置环境等方式增加样例的多样性，最终得到 3000 多条包含 3 个 rgbd 相机的轨迹数据。下面展示了不同任务的采集示例以及采集视频。