北工大这支团队研发番茄自主采摘机器人

时间：2024-07-01 16:14:12 发布：tgy 来源：北京工业大学第一对焦：采摘机器人

　　【ZiDongHua 之自动化学院派收录关键词：采摘机器人智能驾驶机器视觉无人驾驶】

　　小小番茄轻松拿捏！北工大这支团队研发番茄自主采摘机器人

　　在北工大

　　有这样一位又美又飒的博导

　　她和团队研发的

　　番茄自主采摘机器人采摘平均成功率86.67%

　　采摘每串番茄只需32.46秒

　　她主持国家重点研发计划项目

　　带领师生在世界智能驾驶挑战赛等

　　国内外重要比赛中多次夺冠

　　她就是

　　北京工业大学信息科学技术学院

　　副院长、博士生导师马楠教授

　　今天和工小V一起

　　探寻她和智能交互的缘分~

　　番茄自主采摘机器人，“牛”在哪儿？

　　这几年，机器人自主采摘番茄串始终是个难题——市面上多数机器人不够灵活，在垄间作业时极易刮坏番茄；如果它们直接生拉硬拽，番茄和藤蔓都可能遭殃。此外，不比苹果等较硬的作物，柔软的番茄万一不慎着地，前功尽弃。

　　北京工业大学信息科学技术学院马楠教授带领团队与中科原动力韩威团队合作设计了新型机器人AHPPEBot（Autonomous Robot for Tomato Harvesting based on Phenotyping and Pose Estimation），逐一解决了这些问题。它能通过智能感知“看”清番茄的位置和形态，精准识别并判断对哪些番茄串“下手”，自主决定怎么摘再“动手”。

　　研究团队深入研发了机器人自主采摘流程涉及的多项核心技术。在分析番茄的外貌特征方面，采用“多任务深度模型检测”和“自适应DBScan聚类算法”，就像给机器人装了火眼金睛，即便在密密麻麻的枝叶间也能一眼认出哪串番茄熟没熟透、果子总共多少。在分析番茄的三维坐标方面，团队采用了基于深度学习的关键点检测方法，就像给机器人戴了3D眼镜，帮机器人“看清”番茄枝的位置和形状，定位误差不超过5毫米。这样一来，机器人摘番茄时变身熟练果农，不仅知道如何走位，还能规划“手臂”的最佳路线，动作柔和又安全。最酷的是，团队给AHPPEBot机器人环形的“手”装了多个定制钉状导向槽和精细锯片，机器人只会把番茄花梗放进槽中并锯断，不会“误伤”藤蔓。被采摘的番茄串会安全落入网兜，再被机器人依次放入收纳筐。全方位的技术升级，使AHPPEBot的采摘更安全、更精确、更高效。在连续自主采集能力测试中，AHPPEBot在垄间从头到尾搜索和采摘整整100米，平均采摘成功率86.67%，平均采摘每串番茄用时32.46秒。

　　人工智能使智能机器“更懂人情世故”

　　服务国家战略需求是马楠教授和团队的科研追求。来到北工大后，她带领的智能交互团队以重大科技计划等任务为航船，以产业需求和关键技术为罗盘，一次次在科技蓝海里乘风破浪，收获无数“宝藏”。

　　“番茄采摘机器人其实是我的‘副业’，我们主要研究移动机器人。”马楠神采飞扬地说。博士毕业后，她便加入中国工程院院士、欧亚科学院院士、中国智能学会名誉理事长李德毅院士团队，继续开展智能交互应用领域的研究。“十几年前，我们就开始琢磨如何让机器人更理解人的意图，与人友好地交流。”作为智能交互团队负责人，马楠的工作一直围绕着这个任务，深耕交互认知、机器视觉，并以无人驾驶和智能机器为载体开展理论研究和应用落地。

　　马楠教授在“地平线”世界智能汽车年度车型评价的实车测试现场

　　可交互、会学习、自成长——这是马楠对机器智能交互的期待。“如果说交互是人类社会形成共同认知的基础，智能交互就是人机行为协同的重要保障。”近年来，马楠所在的智能交互课题组聚焦多视角连续动态目标识别的研发，并致力于优化交互控制系统以及采用多模态数据助力智能交互的发展。换句话说，就像是教智能机器学会读唇语、看眼神，更精准、更智能地理解与识别人体姿态和手势。在她眼中，智能交互研究就是让机器有智商、有情商，“更贴心”“更懂人情世故”。团队积极和企业合作，共同合作研发的无人驾驶智能交互编队系统在武汉工业园区等落地应用；共同合作研发的移动机器人智能感知与人机交互系统能实现厘米级定位和声像识别等交互功能，被应用在2022年北京冬奥会物流智能配送工作当中，为国家重大赛事举办提供了有力保障。她给工小V举例：“想象一下，驾驶过程中，智能汽车怎么快速感知到人的疲劳？是通过触摸屏感受你动作的细微变化，还是靠大模型训练或者云端数据分析来判断你的情绪波动？”这些看似不起眼的小细节，蕴含着推进产品迭代更新的关键技术，这也是马楠和团队每天都在琢磨的大问题。

　　马楠教授获得2022年中国图象图形学学会科技进步一等奖

　　“我们的学生一定要有坚定的理想信念”

　　“交互引领、应用落地”，这是马楠教授和团队的学术信念，更是团队的行动指南。在人工智能与教育融合发展的背景下，马楠不想照本宣科地传授知识，而是把团队研发的一系列智能交互科研项目融入教学实践，并以此建设了“五位一体”智能交互技术教学平台——包括主讲“智能交互技术”国家级一流本科课程、主编北京市优质本科教材《智能交互技术与应用》、开发智能交互轮式机器人教学载体、虚拟仿真教学平台和编写智能交互技术实践教学案例。培养的毕业生成为中关村高新企业负责人，开展智能机器人、交互技术教学载体的设计与研发工作。

　　“北工大的同学是非常勤奋踏实的。”这是马楠的切身体会。团队里做番茄采摘机器人研究的控制科学与工程学科博士生李兴旭，经常在试验田与学校两头跑，夏天在四十多度的温室里也坚持采数据、找问题，分秒必争，将试验数据和创新算法写成论文，并在机器人领域国际高水平会议IEEE International Conference on Robotics and Automation （ICRA 2024）上发表。在她看来，学生不仅要有学术能力，还应在科研工作中掌握解决问题的能力，以赛代练。这几年，她带领师生在国内外人工智能、世界智能驾驶挑战赛等国内外重要赛事中屡屡夺冠，其中“无人驾驶云智能交互系统”项目在第二届中国“AI+”创新创业大赛总决赛里从2000多支队伍中脱颖而出，获得特等奖。

　　马楠教授带领团队师生参加ICRA2024

　　“我始终牢记作为教师立德树人的使命和责任。在团队中，我会尽我所能引领大家、传授知识，为学校、为时代培养更多高素质创新型工科人才。能亲眼见证他们的成长，这是我最快乐的事。”马楠说。