• 关于创建具身智能开源数据集的倡议书
• • Q&A

关于创建具身智能开源数据集的倡议书

尊敬的全国各高校、科研院所、企业界同仁：

  具身智能是目前智能科学前沿的方向，被认为是实现通用人工智能的必经之路。以美国为首的发达国家和OpenAI、英伟达为代表的众多科技巨头，均将具身智能作为重要战略方向，纷纷投入巨资布局。与此同时，中国相关产业界也涌现出一批具身智能前沿探索科研机构与企业，如为斯坦福Mobile ALOHA项目提供硬件实施基础的松灵机器人等，积极参与并推动国内相关领域的科研课题与成果应用。近年来，机器人技术的发展日新月异，从工业制造到家庭生活，从深海探索到太空实验，机器人的身影越来越频繁地出现在各个领域。机器人是具身智能的物理载体，具身智能进一步赋予机器人大脑、感官及体验能力，使其具备通过与环境反复交互来持续学习及提升。

  在大模型时代，通过增加数据量、扩大模型规模，可以实现模型性能的持续提升。为构建具身智能基础大模型，搭建具有规模化效应的具身智能应用平台，一个开源的大规模高质量的机器人感知操作数据集迫在眉睫。正如斯坦福大学的ImageNet推动了计算机视觉的研究一样，作为国家战略科技力量的重要组成部分，我们希望依托“中国算力网”和“启智”开源生态，在具身智能领域牵头创建一个具有同样影响力的开源数据集ARIO（All Robots In One）。

  目前，美国的谷歌公司已率先发布了Open X-Embodiment 数据集和基于此数据集训练的具身智能控制基础模型RT-X，表现出了在跨场景、多任务、跨平台等情况下良好的泛化性能并普遍超越此前基于特定场景和数据集下的技能水平。为推动国内具身智能领域的前沿探索与产业应用，鹏城实验室携手松灵机器人等科创企业共同倡议全国各高校、科研院所和企业，积极行动，共同打造国内首个大规模、多模态，并且涵盖多个场景、技能、任务、平台类型的具身智能数据集ARIO。Open X-Embodiment尽管先行一步，但仍存在一些不足，比如感知数据源比较单一，只包含图像，部分数据不规范，大部分机器人形式都是单臂的，限制了下游应用等。相比于Open X-Embodiment，ARIO将是全球首个包含五种模态（图像、点云、文本、触觉、听觉），并同时涵盖服务和工业等两大垂直领域，支持丰富应用场景的具身智能数据集。由此，我们呼吁各方：

  1. 建立统一的机器人感知与操作数据收集和开源标准，确保数据的规范性。
  2. 加强数据安全和隐私保护，确保开源数据不侵犯个人隐私和商业机密。
  3. 鼓励高校、科研机构和企业积极参与数据采集、共享和合作研究，共建一个高质量的数据集生态，合力推动具身智能技术的创新发展。

  让我们携手努力，共同推动ARIO的创建和开源工作，为具身智能和机器人行业的繁荣发展贡献智慧和力量！

  此致
敬礼！

鹏城实验室、松灵机器人、中山大学、南方科技大学

2024年3月28日

附件1--ARIO数据集格式说明(格式会根据实际情况更新内容，请定期查看最新版本)
附件2--数据上传指南
实用辅助文件
数据集格式示例
MuJoCo仿真数据示例

Q&A

1.Q：作为开发者，除了上传开源数据，还有什么具身智能相关的开源项目是可以参与的？
A：作为普通开发者，可能确实没有机器人硬件资源来贡献数据集，我们后续会自己开源一些数据集供大家使用，包括我们自己训练的多模态大模型也会陆续开源。我们也准备举办具身智能开发者大赛，后续会出通知，届时欢迎大家参赛拿奖金。开发者也可以基于我们的数据集，开发一些python转换小程序，把我们格式的数据转换成Open X-Embodiment的格式（格式说明：https://github.com/google-deepmind/open_x_embodiment ，https://github.com/google-research/rlds#dataset-format ，https://www.tensorflow.org/datasets/catalog/berkeley_autolab_ur5 ），转换程序可以作为开源项目上传到ARIO组织下。

2.Q：有没有微信技术交流群？
A：有的，扫描下方二维码加入群聊，入群后请备注姓名、单位、职务。