上海交大自动化系：全球冠军！我系陈卫东、王贺升团队获国际计算机视觉与模式识别大会挑战赛第一名

近日，国际计算机视觉与模式识别大会CVPR (Conference on Computer Vision and Pattern Recognition) 在美国西雅图召开。来自上海交通大学电子信息与电气工程学院自动化系陈卫东教授和王贺升教授团队的邓天宸、吴文华、王彦博等博士生组成的参赛团队从全球众多的参赛团队中脱颖而出，在CVPR 2024 UG2+挑战赛“无人机跟踪与位姿估计”赛道中斩获冠军。

 

 

 

 

 

关于CVPR及2024 UG2+挑战赛

 

“无人机跟踪与位姿估计”赛道

 

 

CVPR 2024国际计算机视觉与模式识别大会

 

 

 

国际计算机视觉与模式识别会议（CVPR）是人工智能与计算机视觉领域最具影响力的会议之一，该会议始于1983年，根据谷歌学术公布的2024年最新学术期刊和会议影响力排名，CVPR在所有学术刊物中位居第4。

 

 

 

CVPR 2024 UG2+挑战赛

 

 

 

CVPR 2024 UG2+挑战赛“无人机跟踪与位姿估计”赛道吸引了世界各地几十支参赛队伍参加，包括卡内基梅隆大学、慕尼黑工业大学、浙江大学等国内外知名大学。该挑战赛旨在融合多模态数据，从而在复杂环境下完成无人机检测、识别和三维跟踪任务。本次挑战赛中，使用了目前市面上常见的多种无人机机型进行多模态数据采集，提供了无人机的多模态数据序列：双目鱼眼相机图像，毫米波雷达数据以及Livox Mid360和Livox Avia获取的激光雷达数据，同时用Leica Nova MS60 Multi-Station测绘仪器获取到了无人机在三维空间中的精确位置信息。

 

 

 

 

 

获奖团队解决方案

 

 

 

面向复杂环境条件下的技术挑战，电院自动化系参赛队伍提出了一种多模态信息融合的无人机检测、分类和三维跟踪方法，实现了准确的无人机分类和跟踪。该方法采用了一种新的分类流程，其结合了序列融合、兴趣区域（ROI）裁剪和关键帧选择，系统集成了前沿的分类技术和复杂的后处理步骤，以提高准确性和鲁棒性。所设计的位姿估计流程包含三个模块：动态场景分析、多目标跟踪器和轨迹生成补全算法。在MMUAD数据集的测试结果表明了该方法的有效性。下图为系统框架图算法代码和配置。

 

 

 

系统框架图

 

 

 

四种类型的无人机在三个不同高度

 

（5米、10米、20米）的检测分类结果

 

 

 

视觉检测分类中的困难场景展示

 

包括颜色相似性、运动模糊、太阳耀光、小物体、不完整物体以及鱼眼摄像头的边缘失真

 

 

 

检测和估计的无人机三维位姿

 

 

 

上图展示了对于不同种类的无人机，算法检测分类和跟踪结果，分析了视觉检测分类中的困难场景。

 

 

 

参赛队在测试数据集上的无人机三维位姿估计和分类性能对比

 

 

 

参赛队伍在测试数据集上的无人机三维位姿估计和分类性能对比，我方团队在分类准确性和定位精度两方面均表现最佳。