创新成果·北京大学机器人领域前沿进展（2024年第8期）

时间：2024-05-14 13:38:44 发布：tgy 来源：北大创新评论第一对焦：北京大学

　　【ZiDongHua 之自动化学院派收录关键词：机器人人工智能智慧城市大模型】

　　创新成果·北京大学机器人领域前沿进展（2024年第8期）

　　前言

　　专栏介绍：

　　北大创新评论“创新成果”专栏聚焦科学家、青年学者、产业专家及相关团队的最新科技成果转化孵化成果展示，共建产学研用交流互动、深度融合、协同创新的一体化平台，引领未来产业应用发展。欢迎关注《北大创新评论》，了解“创新成果”最新动向和资讯。

　　本期专栏汇编了机器人研究领域的最新进展，涵盖了从研发具有多种运动模态的软体两栖机器人、结合大模型指导机器人操作各类家电家具、推出两栖光伏清洗机器人到打结人工肌肉用于生物模拟驱动的深水应用等多个重要研究。

　　北京大学、斯坦福大学与智源人工智能研究院合作研究：结合大模型指导机器人操作各类家电家具

　　近日，PaLM-E 和 GPT-4V 带动了图文大模型在机器人任务规划中的应用，视觉语言引导下的泛化机器人操控成为了热门研究领域。近期由斯坦福大学的 Leonidas Guibas 教授、北京大学的王鹤教授团队，与智源人工智能研究院合作完成了一个三维具身图文大模型系统。该系统将基于三维视觉的精准几何感知模型与擅长规划的二维图文大模型结合了起来，无需样本数据，即可解决与家具家电有关的复杂长程任务。该研究的主要亮点如下：

　　1.在系统设计方面：在之前研究的基础上，研究团队创造性地将基于三维视觉的 GAPart 引入了机器人的物体操控系统 SAGE 。SAGE 构成了首个三维具身图文大模型系统，为机器人从感知、物理交互再到反馈的全链路提供了新思路，为机器人能够智能、通用地操控家具家电等复杂物体探寻了一条可行的道路。

　　2.在交互反馈方面：在实验进行到一半时，研究团队只使用了一个初始观测来生成开环交互。这时，他们引入了一种机制，可以进一步利用在互动过程中获得的观测结果，更新感知结果并相应调整操作。为了实现这一目标，研究团队为互动过程中引入了一个两部分的反馈机制。但在首次观测的感知过程中可能出现遮挡和估算错误。为了解决这些问题，研究者们进而提出了一个模型，利用交互式观测 (Interactive Perception) 来增强操作。

　　Application

　　产业应用

　　本研究通过创新性地将基于三维视觉的GAPart集成到机器人物体操控系统SAGE中，显著提升了机器人在物体识别和操作方面的智能水平。SAGE系统能够实现泛化的三维零件检测和精确的位姿估计，克服了以往二维图像模型在计算精度和推理能力上的局限，为VLM和LLM提供了更为丰富和准确的信息。

　　该研究开发的新方法不仅在决策层面增强了机器人的理解能力和问题解决能力，而且在执行层面展示了基于GAPart位姿的强大物理操作能力，实现了对不同零件的泛化性操作。这些进展使SAGE成为首个具身的三维图文大模型系统，为机器人从感知、物理交互到反馈的全链路操作提供了新思路，推动了机器人在智能家居、家电操控等领域的应用，向通用性和智能化迈出了重要一步。

　　杨槐团队研究项目“打结人工肌肉用于生物模拟驱动的深水应用”取得重大突破

　　随着深海探索需求增加，研发能适应极端水压的高效水下机器人变得迫切。传统驱动技术在深水环境中性能受限。为提升能源效率和设备可靠性，科研者借鉴软体动物的肌肉机制，发展出仿生的“打结人工肌肉”技术，以实现柔韧且高效的深海驱动解决方案。近日，由北京大学材料科学与工程学院杨槐团队领衔的研究项目“打结人工肌肉用于生物模拟驱动的深水应用”取得了重大突破。主要研究成果如下：

　　1.创新打结人工肌肉结构：人造肌肉由三维打印液晶弹性纤维和加热细线编织而成。经数值模拟和实验验证，这种独特的分层编织结结构可提供更大的线性冲程、力速率和损伤耐受性。

　　2. 发现其重要特性：方形编结人工肌肉在水下 3000 米深处以 1 赫兹的频率显示出可靠的驱动周期。通过推动模型船，展示了其潜在应用。

　　Application

　　产业应用

　　这项成果不仅解决了传统驱动技术在深海应用中的局限性，还为构建轻量、智能、高适应性的水下机器人提供了全新的动力源。凭借其高效能量转换、快速响应、自我修复及生物相容性等多重优势，打结人工肌肉有望重塑深海探测设备的设计理念，推动深海科研、资源勘探、环境保护乃至深海救援等领域实现技术跨越。未来，随着材料科学与仿生工程技术的进一步发展，打结人工肌肉有望实现更大规模的生产与更广泛的应用场景拓展。

　　谢广明研究团队推出具有多种运动模态的软体两栖机器人

　　在两栖机器人的领域中，刚体两栖机器人与软体两栖机器人各自占据一席之地。刚体两栖机器人以其坚固的结构和稳定的性能，能够在一定程度上适应不同的环境。而软体两栖机器人则凭借其能够主动或被动地根据周围环境调整自身形态更好适应各种复杂地形环境，以及具有固有柔顺性的独特优势，在任务执行中展现出高效率，在生态敏感区域应用中表现出高潜力。但同时，软体两栖机器人在实现高机动性和多地形适应能力方面仍然面临巨大挑战。前不久，来自北京大学工学院谢广明教授团队的研究人员受果蝇幼虫和海蛞蝓独特的运动模式启发，提出了一种基于塑料片增强的薄膜气动驱动器的软体两栖机器人。该研究的主要亮点如下：

　　1.在系统设计方面：这款机器人的运动核心是由四层薄型气动执行器组成的驱动系统。与其他研究中使用的薄型气动执行器不同，本研究中，研究人员对传统设计进行了改进。通过在两个腔室之间嵌入一片不可拉伸的塑料片研究人员实现了对执行器弯曲形态的限制，并显著提升了机器人的输出扭矩。更为关键的是，同时，这片塑料片可以在机器人身体弯曲时能够储存能量，一旦释放，这些能量将有助于机器人在随后身体展平时实现更远的跳跃距离。这种将柔软薄膜与半刚性塑料片相结合的设计理念，为机器人提供了执行连续跳跃和游动所需的灵活性与强度。通过身体交替的弯曲和展平动作，该机器人在陆地上实现了最高移动速度1.77BL/s，而在水中则达到了最高游动速度0.69BL/s，其性能均超越了现有的软体两栖机器人。

　　2.借鉴果蝇幼虫跳跃机制优化机器人设计：通过对果蝇幼虫弯曲状态进行观察，研究人员发现凭借尾部曲率大于头部曲率的独特结构，果蝇幼虫保证了向前的跳跃运动。借鉴这一自然智慧，研究人员在机器人设计中加入了一对侧鳍，以用来限制机器人头部弯曲，这一设计细节确保了在身体弯曲时，机器人能够尾部与地面充分接触，从而帮助其实现更稳定地向前跳跃。

　　Application

　　产业应用

　　该研究展示的软体两栖机器人设计具备卓越的多地形适应性和多样化运动能力，显著提高了机器人在复杂环境中的机动性和灵活性。能够有效适应斜坡、障碍、台阶以及不同质地的地面如泥地、沙地和砾石等，使其能够在多变的地形中执行任务，这一点对于搜索与救援、战场侦察和环境监测等领域至关重要。多种运动模态，包括在陆地和水生环境中的前进、后退、转弯、自翻等动作，增加了机器人的适用场景和操作复杂度。高跳跃速度和游泳速度指标表明了其优越的运动效率，突破了以往软体两栖机器人的速度限制，为未来高速、高效软体机器人的设计和应用提供了新的视角和技术参考。

　　北大智慧城市实验室发布D2PV智慧终端及两栖光伏清洗机器人

　　传统的人工清洗方式存在诸多问题，包括成本高、周期长、效率低、水资源浪费严重等。人工操作时，易受力不均匀影响，容易导致光伏电板刮痕或隐裂。尤其是水洗过程中，无法精确掌控水压变化，高水压虽然有助于提高清洗效果，但也可能对光伏电板造成不良冲击。为解决这些问题，北大智慧城市实验室提出了采用D2PV智慧终端及两栖光伏清洗机器人。这一创新解决方案不仅提高了清洗效率，降低了维护成本，还能够避免传统清洗方式可能导致的光伏电板损害和安全风险。该研究的创新设计如下：

　　1.数据采集：收集光伏板的性能数据，如电压、电流和温度。这有助于实时监测系统的运行状况，提供基础数据用于优化和故障排除。

　　2.远程监控：通过互联网实现远程监控，使用户能够随时随地查看太阳能系统的状态。这提高了系统管理的灵活性和便利性。

　　3.性能优化：自动调整设置以最大化能源产出，可能包括调节光伏板的角度、管理电池存储等。这有助于提高太阳能系统的效率。

　　4.故障诊断：识别系统中的问题并发出警报，使运维人员能够及时采取措施，降低维护成本和系统停机时间。

　　Application

　　产业应用

　　本研究开发的无人机技术，通过其技术的通用性和适应性，成功扩展了应用范围，不仅限于建筑领域。随着对自动化和智能化解决方案的需求不断增长，我们持续推动无人机技术的创新，致力于提升其智能水平。在光伏领域，推出的D2PV智慧终端和两栖光伏清洗机器人代表了我们在高效、智能清洗解决方案上的最新突破。这些创新不仅延续了无人机在建筑清洗领域的成功，而且开启了无人机在光伏板清洗市场的广泛应用，显著提升了无人机在各类清洗作业中的重要性。这种多用途和全面化的技术演进，为无人机在未来多个行业中的应用提供了坚实的基础，并有潜力进一步推动整个无人驾驶技术产业的发展。

　　董豪团队发布最新具身大模型研究成果“ManipLLM”

　　只靠一张物体图片，大语言模型就能控制机械臂完成各种日常物体操作吗？北大最新具身大模型研究成果ManipLLM将这一愿景变成了现实：在提示词的引导下，大语言模型在物体图像上直接预测机械臂的操作点和方向。该方法利用LLM的推理和面对开放世界的泛化能力，成功提升了模型在物体操纵方面的泛化能力。其研究内容如下：

　　1.大语言模型助力通用操纵：大多的具身操纵工作主要依赖大语言模型的推理能力来进行任务编排和规划。然而，鲜有研究探索大语言模型在实现低层原子任务（low-level action）方面的潜力。因此，该方法致力于探索和激发大语言模型在预测低层原子任务的能力，从而实现对更多类别物体的以物体为中心（object-centric）的通用操纵。具体而言，通过以下三个学习阶段，ManipLLM实现了具有泛化能力的以物体为中心的操纵

　　2.闭环主动式阻抗适应策略的应用：在获得初始接触姿态的输出后，该方法利用一种无需学习的闭环主动式阻抗适应策略，来完成完整的操纵。它的作用是不断地微调末端执行器的旋转方向，这样就能够灵活地适应物体的形状和轴向，从而逐步地完成对物体的操控任务。具体来说，研究者会在当前方向的周围加入一些微小的变化，生成多个可能的移动方向。然后会试着每个方向轻轻地移动一下，看看哪个方向可以让物体移动最远，然后选择这个方向作为下一步的移动方向。

　　Application

　　产业应用

　　ManipLLM将大语言模型的推理和泛化能力引入机械臂控制领域，实现了对各类日常物体的精确操控。这一技术不仅显著提升了模型在未知环境中的泛化能力，还展现了其在多样化任务执行中的出色表现。此外，它简化了人机交互过程，使得非专业用户也能轻松指导机械臂完成任务。ManipLLM的研究推动了智能机器人领域的发展，特别是在家庭服务、医疗辅助和灾难救援等潜在应用场景中，展现了巨大的应用潜力，为智能机器人与人类生活更紧密结合提供了新的道路和技术基础。

　　李学松教授上尿路修复团队发表三维重建导航辅助机器人输尿管成形术治疗腔静脉后输尿管的文章

　　腔静脉后输尿管（Retrocaval Ureter, RCU）又称环绕腔静脉输尿管，是一种罕见的先天性发育畸形，输尿管沿下腔静脉后方绕行再回到正常位置，可引起输尿管梗阻和肾积水。腔静脉后输尿管手术治疗非常具有挑战性，需要对下腔静脉的后方和侧面进行广泛且精细的解剖工作，稍有不慎可能造成大出血。近年来，由于体内缝合简单且术中视野清晰，机器人手术在复杂输尿管修复重建手术领域越来越受欢迎。本研究展示了近年来北大泌尿上尿路修复团队开展的三维重建导航辅助机器人输尿管成形术治疗腔静脉后输尿管的技术细节和随访结果，旨在为世界范围内的上尿路修复医生提供经验和参考，以治疗更多受腔静脉后输尿管困扰的患者。主要研究内容如下：

　　1.展示了该项手术的具体技术细节：包括患者体位、trocar布局和机器人对接位置，以及腔静脉后输尿管的定位、游离、离断和体内吻合等。

　　2.证明其安全性：根据不同的手术类型和现有的临床数据和随访结果，证明三维重建导航辅助机器人输尿管成形术治疗腔静脉后输尿管是安全且可行的。

　　Application

　　产业应用

　　这一技术的应用不仅为腔静脉后输尿管的治疗提供了一个创新的方法，还通过手术视频使具体的操作步骤和治疗策略得以广泛传播，提高了手术的透明度和可学习性。该研究的价值主要体现在以下几个方面：

　　1.技术创新：研究展示了三维重建导航技术结合机器人手术系统在治疗腔静脉后输尿管中的应用，代表了泌尿外科领域的一个重要技术突破。

　　2.安全性和可行性：临床数据和随访结果显示了该技术的安全性和有效性，证实了其作为一种新的治疗手段的潜力。

　　3.教育贡献：通过分享详细的手术过程和技术要点，本研究为其他医生学习和掌握这一先进技术提供了实用的教育资源。

　　4.推动个性化医疗：研究介绍了针对不同类型的腔静脉后输尿管所采用的不同治疗策略，展现了个体化治疗的重要性和实践应用。

　　5.改善患者预后：提供了一种新的治疗选择，有助于改善受腔静脉后输尿管问题困扰的患者的治疗效果和生活质量。