清华大学自动化系李翔团队提出面向可变形柔性物体的机器人自主操作方法

　　【ZiDongHua 之自动化学院派收录关键词：清华大学 机器人 可变形柔性物体 】

　　

　　

　　除刚性物体外，人类生产生活中也包含大量需要对线状柔性体（如线缆、绳子等）进行操作的场景，例如线缆装配、手术缝线、消防打结等。过去数十年内，面向刚体的机器人操作技术取得了快速发展和广泛应用，极大提高了生产效率和质量。相较于刚体，线状柔性体的强变形特性导致其具有高自由度、强非线性、高差异性等特点，对机器人操作提出了极大挑战，相关研究相对初步，难以解决人类生活中大量柔性物体的自动化操作问题。

　　

　　清华大学自动化系工业智能与系统研究所李翔副教授与美国加州大学伯克利分校Masayoshi Tomizuka教授合作，提出了一种在三维受限空间自主操作线状柔性体进行全局形变的方法，实现了对于高度复杂操作任务的高效求解和可靠执行，且无需预先训练即可有效泛化至真实世界中的各种线状柔性体，提高了机器人操作可变形柔性物体的实用价值。《三维受限环境中基于双臂机器人的可泛化全身全局线状柔性体操作》（Generalizable whole-body global manipulation of deformable linear objects by dual-arm robot in 3-D constrained environments）文章于2024年9月21日在机器人学领域旗舰期刊The International Journal of Robotics Research（IJRR）发表。

 

 

　　

　　在复杂三维受限环境中对线状柔性体进行全身全局避障操作示意

　　

　　1

　　

　　线状柔性体操作挑战与现状

　　

　　与刚体操作不同，在受限空间中的柔性体操作需要同时考虑机械臂的运动和柔性体的变形情况。强变形的线状柔性体、高自由度的双机械臂系统及三维复杂受限环境使该任务具有维度高、约束多等挑战，大幅增加规划复杂度。此外，线状柔性体的强非线性和高差异性导致难以对其进行准确建模，从而易导致规划路径不可靠。该工作期望实现两大目标：1）高效且准确地完成三维受限空间中的线状柔性体全局位形操作；2）对真实世界中各种不同线状柔性体实现可泛化且鲁棒的操作。

　　

　　在此之前，大多数研究工作不考虑实际操作场景中的受限环境对线状柔性体和机械臂所施加的约束，仅考虑在开放环境中使用反馈控制对线状柔性体进行局部形变控制。部分工作基于离线全局规划和开环执行完成受限空间中的操作，但其大多假设拥有准确的线状柔性体模型，而不考虑模型误差对规划路径可靠性的影响；此外，此类工作往往需要对规划问题进行简化，例如不考虑机械臂臂身的影响、使用离线建立的路标图、过度简化线状柔性体的状态表征等。从操作效果上看，现有方法往往只能在仿真中验证或仅能处理较简单的操作任务，操作效率低，且难以实现对于不同线状柔性体的泛化。

 

　　

　　现有工作的应对场景及操作能力

　　

　　该工作首次实现了在真实三维受限环境中对多种线状柔性体的全身全局避障操作，在任务难度和操作性能方面大幅超越现有工作，具体体现在：

　　

　　一、更加实际且复杂的操作任务：

　　

　　1. 全身：考虑线状柔性体和机械臂的全身。

　　

　　2. 全局：包括长距离移动和大变形的全局操作。

　　

　　3. 复杂环境：包含复杂障碍物的三维受限环境。

　　

　　4. 模型未知的多种线状柔性体：五种显著不同的真实线状柔性体。

　　

　　二、更优的操作性能：

　　

　　1. 可靠的规划：上千次实验中100%的规划成功率。

　　

　　2. 高效的规划：平均规划开销仅为数秒。

　　

　　3. 鲁棒的操作：135次真实实验中100%的操作成功率。

　　

　　4. 高效的操作：平均操作时间小于1分钟。

　　

　　2

　　

　　线状柔性体互补操作框架

　　

　　该工作提出了一种结合全局规划和局部控制的互补操作框架。首先，该框架提出了一种全局规划器，其基于简化后的线状柔性体能量模型和采样规划算法高效求出满足全部约束的可行解。此后，该框架提出了一种闭环操作方法，基于自适应线状柔性体运动模型和约束模型预测控制器，根据实时反馈在线调整机器人动作，从而补偿建模规划误差、提高操作鲁棒性和精度。

 

　　

　　结合全局规划与局部控制的线状柔性体操作框架图

　　

　　其中，如何面向线状柔性体操作更合理地结合全局规划和局部控制是该框架的关键。该框架的核心思想是在规划中使用合理简化的线状柔性体模型，在不显著增加规划开销的前提下尽可能准确逼近真实物理状态，在保证求解高效性的前提下给局部控制尽可能准确的参考轨迹；而在实际执行过程中基于可在线自适应更新的柔性体局部运动模型，应用闭环控制来补偿残余的建模规划误差，最终实现准确的操作。

　　

　　操作框架中全局规划、局部控制及各自所用线状柔性体模型间的关系

　　

　　在全局规划中，该方法系统考虑了路径中的各种约束，包括柔性体稳态位形约束、柔性体与双机械臂共同构成的闭链约束，以及柔性体、机械臂与环境间的无碰撞约束。该方法选用离散弹性杆模型（Discrete Elastic Rod）模型，通过局部投影方法保证规划路径满足柔性体稳态位形约束和闭链约束，并避免长路径中产生累积误差。为降低模型参数辨识难度和规划计算量，该方法选择进一步引入粗略离散化、均匀分布等以简化模型，最终实现高效的全局路径求解。

　　

　　由于全局规划中引入了上述简化，如果对规划路径直接进行开环执行，则线状柔性体可能偏离规划路线导致执行失败，因此该方法使用闭环模型预测控制对规划路径进行跟踪和微调。在控制中，该方法选用课题组在前期研究中提出的线状柔性体局部运动模型（TRO 2023），该数据驱动模型基于准静态操作和弹性变形假设，可在操作过程中利用在线运动数据针对柔性体进行自适应更新，从而保证局部操作的准确性。同时，该控制器通过将局部全身避障描述为硬约束的方式，保证微调后路径的安全性。

　　

　　3

　　

　　操作性能

　　

　　上述操作框架在实验中取得了极佳的操作性能。在上千次仿真实验中取得了100%的规划成功率，在最复杂的任务中的平均规划时间开销小于15秒。在包括五种性质显著不同的线状柔性体的135次真实操作实验中取得了100%的操作成功率。

　　

　　线状柔性体操作真实实验

　　

　　潜在应用场景：线缆嵌槽及线缆插孔任务

　　

　　该研究工作以《三维受限环境中基于双臂机器人的可泛化全身全局线状柔性体操作》（Generalizable whole-body global manipulation of deformable linear objects by dual-arm robot in 3-D constrained environments）为题发表于The International Journal of Robotics Research。清华大学自动化系李翔副教授为唯一通讯作者，清华大学自动化系博士生于铭瑞为唯一第一作者，博士生吕康晨、姜永鹏参与了本项研究。该研究工作得到了国家自然科学基金首届青年学生项目、联合基金重点项目、科技创新2030重大项目课题，以及清华大学国强研究院等支持。

　　

　　The International Journal of Robotics Research (IJRR) 期刊简介：IJRR是机器人领域的高水平学术期刊，专注于发布关于机器人技术和相关领域的最新研究成果。IJRR创刊于1982年，是该领域第一本学术期刊。自创刊以来，IJRR致力于发表原创性、深入思考和引人入胜的论文，以卓越的学术质量和广泛的学术影响力在国际学术界享有极高声誉。IJRR发文量较少，2023全年共收录约57篇论文，其中来自中国大陆3篇、香港2篇（以上统计自2023年IJRR正式见刊的文章）。本文是清华大学自动化系作为第一单位在IJRR上发表的首篇文章，清华大学作为第一单位在IJRR上发表的第三篇文章。

　　

　　论文链接：点击文末“阅读原文”。

　　

　　课题组相关研究：

　　

　　1. M. Yu, K. Lv, C. Wang, Y. Jiang, M. Tomizuka, and X. Li, “Generalizable whole-body global manipulation of deformable linear objects by dual-arm robot in 3-D constrained environments”, The International Journal of Robotics Research, 2024.

　　

　　2. M. Yu, K. Lv, H. Zhong, S. Song, and X. Li, “Global Model Learning for Large Deformation Control of Elastic Deformable Linear Objects: An Efficient and Adaptive Approach”, IEEE Transactions on Robotics, 2023.

　　

　　3. M. Yu, B. Liang, X. Zhang, X. Zhu, L. Sun, C. Wang, X. Li, M. Tomizuka, “In-Hand Following of Deformable Linear Objects Using Dexterous Fingers With Tactile Sensing”, 2024 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 2024.

　　

　　4. M. Yu, K. Lv, C. Wang, M. Tomizuka, and X. Li, “A Coarse-to-Fine Framework for Dual-Arm Manipulation of Deformable Linear Objects with Whole-Body Obstacle Avoidance”, 2023 IEEE International Conference on Robotics and Automation (ICRA), 2023.

　　

　　5. K. Lv, M. Yu, Y. Pu, and X. Li, “Learning to Estimate 3-D states of Deformable Linear Objects from Single-Frame Occluded Point Clouds”, 2023 IEEE International Conference on Robotics and Automation (ICRA), 2023.

　　

　　6. M. Yu, H. Zhong, and X. Li, “Shape Control of Deformable Linear Objects with Offline and Online Learning of Local Linear Deformation Models”, 2022 IEEE International Conference on Robotics and Automation (ICRA), 2022.