CoRL 2024|谷歌DeepMind、Meta与Franka Robotics共探机器人学习领域新突破！
机器人学习会议CoRL(Conference on Robot Learning)是一年一度的国际会议，会议重点讨论机器人和机器学习的交叉学科。今年于11月6日至9日在德国慕尼黑盛大举行，吸引了众多机器人界专业人士及同行业伙伴参观并聆听学术成果的发表！
谷歌DeepMind、Meta、英伟达、Amazon Robotics等多家知名科技公司赞助并出席CoRL。Franka Robotics作为世界级一流机器人研究平台也赞助并出席了这一盛会，见证了多个大学及研究机构的学者们借助Franka Robotics机械臂发表的学术成果，包括视觉语言模型、遥操作、机械手开发等创新方向。让我们来一探究竟吧！
01
AHA-用于检测机器人操控故障的视觉语言模型
由Jiafei Duan领导，华盛顿大学及英伟达等机构的学者们联合发表的AHA，是一个专门为机器人任务失败检测和推理设计的视觉语言模型。它通过自然语言识别并解释机器人的操作失败情况。在训练过程中，AHA使用了FailGen生成的大规模失败轨迹数据集，该数据集通过模拟扰动生成失败示例。AHA不仅在模拟中表现出色，还能在真实世界中推广，显著提升机器人任务的成功率和错误修复能力。该模型能帮助改进任务规划、激励函数及子任务验证，从而增强机器人操作的稳定性和效率。
更多项目详情在论文：AHA:https://aha-vlm.github.io/
更多团队成果：Manipulate-Anything:https://robot-ma.github.io/
Robo-Point:https://robo-point.github.io/
02
SkillGen-高效技能学习与部署的自动化示范生成
由英伟达团队发布的SkillGen，是一种自动化演示生成系统。用于帮助机器人高效学习和执行复杂技能。只需少量人类演示数据，SkillGen便自主生成大量演示动作，并适应不同场景。这些数据训练的机器人可以执行多种操作任务，展现出高成功率。SkillGen还支持仿真到真实的零样本迁移，使机器人在复杂环境中灵活适应，显著减少人力需求。
更多项目详情在论文:https://skillgen.github.io/
03
ManipGen-局部策略实现零样本长时间操控
由卡耐基梅隆大学及苹果团队联合发布的ManipGen，是一项创新研究，旨在让机器人更灵活地完成复杂多步任务。传统机器人往往难以适应新的物体和环境，需要大量人工演示。而ManipGen通过“局部策略”进行操作规划，使机器人在不依赖新示例的情况下完成一系列分步任务。它结合视觉、语言和运动规划，赋予机器人对物体和场景的理解能力，因此可以在复杂场景中更自主地行动。实验表明，ManipGen在任务执行中表现优异，尤其适合不同物体和场景的复杂操作任务。
更多项目详情在论文:https://mihdalal.github.io/manipgen/
04
PointFlowMatch-从点云中学习机器人操控策略的条件流匹配方法
由德国弗莱堡大学计算机科学团队提出的一种名为PointFlowMatch的新方法，用于从点云数据中学习机器人操控策略。通过条件流匹配（CFM）技术，PointFlowMatch可以生成机器人长时间、多阶段的操作路径，并适应多种任务情境。实验表明，该方法在RLBench测试任务中的成功率达到了67.8%，是现有最佳方法的两倍。该技术为机器人学习复杂操控任务提供了更灵活和高效的解决方案。
更多项目详情在论文：http://pointflowmatch.cs.uni-freiburg.de/
05
Get a Grip-多指抓取算法稳定实现模拟到现实的迁移
由斯坦福大学和加州理工学院学者联合发明了一种新方法Get a Grip，通过使用判别模型评估抓取来实现多指抓取稳定模拟到现实转移。并发布了一个包含350万次抓取的大型数据集，涵盖了各种不同的抓取示例以及相应的感知数据。通过这个数据集训练抓取评估，研究表明其性能超越了现有的生成模型，尤其在现实环境中的表现更加优秀。研究结果也表明，数据的规模对实验成功产生重大作用。
更多项目详情在论文：https://arxiv.org/abs/2410.23701
06
Vocal Sandbox-语音指令教机器人执行任务
由斯坦福大学学者们开发的Vocal Sandbox项目，提出了一个新框架，用于实时的人机协作，能够让机器人从人类的多种输入中持续学习和适应，包括语音指令、视觉演示和物理引导。该框架旨在提高机器人响应性，使其能够学习复杂任务并适应不同的环境。用户可以逐步教会机器人多层次技能，从简单的操作到更高级的规划行为，这些技能都可以在不同任务中重复使用。
在礼品包装组装和定格动画制作的测试中，Vocal Sandbox表现出显著的易用性提升，减少了22%的训练时间，让非专业用户也能高效地教会机器人物体操作和复杂的运动技能。
评论排行