【ZiDongHua 之创新自科文收录关键词: 中国信通院 北京邮电大学 清华大学 具身智能 人工智能 机器人 具身智能操作系统】
中国信通院、北邮与清华联合发布开源具身智能操作系统
具身智能是一种将人工智能深度融入机器人或其他物理实体中的颠覆性技术,使它们能够自主感知、学习并与环境进行动态互动。未来,具身智能技术赋能的机器人(或称具身智能体)将无处不在。它可以是物流仓库中的自动搬运机器人、工厂里的机械臂、协助完成高精度手术操作的医生助理、救火现场的消防员、帮助处理日常家务、照顾老人和儿童的家庭服务机器人。
当前,定义一个全球化的具身智能软硬件生态系统已变得迫在眉睫。在这一生态系统中,具身智能操作系统是核心要素。掌握这一基础软件架构及其与硬件的接口标准者,将在未来十年内主导具身智能领域的突破与进步。尤其对我国而言,拥有自主可控的操作系统和中间件至关重要。传统操作系统往往难以同时满足具身智能体在实时性、安全性以及智能交互方面的需求。因此,具身智能技术的发展迫切需要在基础软件层面,特别是操作系统领域,夯实根基。这不仅能为具身感知、具身规划和具身执行等核心环节提供有力支持,还能促进零配件及通信协议层面形成统一的事实标准,加速行业的融合与发展。
中国信息通信研究院(以下简称“中国信通院”)、北京邮电大学与清华大学联合推出了一款面向智能机器人的开箱即用的具身智能操作系统——有形具身智能操作系统,英文名为:Embodied Operating System(简称“EOS”),并已经于近期开源。有形具身智能操作系统(EOS)不同于国外知名机器人框架ROS,其不仅限于中间件层面的功能实现,而是从操作系统内核到中间件以及具身智能和空间智能算法库进行了全方位的设计和实现,并支持了实时内核。
图1:有形具身智能操作系统(EOS)架构图
有形具身智能操作系统具备4个特点
一、有形具身智能操作系统(EOS)对国产芯片进行了深度适配,强调自主可控和开源开放。目前,有形具身智能操作系统(EOS)的内核为实时操作系统内核RROS,基于RROS已完成对龙芯(Loongarch)指令集和RISC-V指令集的支持。这种深度适配不仅确保了操作系统能够在各种国产硬件平台上稳定运行,更能够最大限度地发挥国产芯片的性能优势。通过自主可控的技术路线,EOS降低了对国外软硬件技术的依赖,增强了技术安全性。此外,开源开放的特性使得开发者和企业能够共同参与系统的开发和优化,推动形成一个充满活力和创新的开源生态系统。
二、有形具身智能操作系统(EOS)是机器人应用于新型工业化中所急需的基础软件。实时操作系统对于工业机器人和医疗机器人等对时间和精度有要求的场景至关重要,EOS通过集成RROS,赋予了Linux内核实时化能力,确保机器人或具身智能体能够安全、可靠地执行实时任务。这一集成使得EOS具备了处理高实时性任务的能力,可以在微秒级响应外部环境的变化,保证机器人在执行复杂任务尤其是工业场景或多智能体协作时的精确度和安全性。实时化能力对工业机器人、自动驾驶车辆和医疗机器人等需要快速反应和高可靠性的应用场景尤其重要,有助于实现更高水平的操作效率和任务安全。
三、有形具身智能操作系统(EOS)为开发者提供了一种低门槛的具身智能应用开发范式。EOS期望通过简化的开发流程、丰富的中间件、独立维护的具身智能和空间智能算法库、公开的协作机制和平台,让开发者可以轻松上手并迅速开始项目开发。具体来说,EOS计划提供全声明周期的开发支持套件,包括仿真软件支持,实体硬件套装,不仅可以缩短产品的研发周期,还大幅降低了开发成本,助力各类智能设备的创新与快速迭代,推动具身智能生态圈的持续扩展和成熟发展。同时,EOS开发系统能够支持多智能体协议,允许开发者轻松构建和管理多个智能体之间的协作,使不同智能体能够在复杂场景中高效协同工作。系统还会提供丰富的开发工具、预构建的模块和完善的技术文档,帮助开发者快速构建、测试和部署智能机器人和具身智能体应用。并且,基于EOS提供的上下游机制和平台,可以让具身智能相关软硬件协同优化,汇聚软件算法、中间件、通信协议、实时内核、底层硬件等上下游参与者。
四、有形具身智能操作系统(EOS)为具身智能体的用户提供了AI原生的人机交互体验。机器人或具身智能体往往具备相比PC或手机更强的主动性,普遍具备包括移动、抓取等在内的与真实世界交互的能力,这必将引发人机交互的新变革,因此迫切需要“具身智能原生”的操作系统。有形具身智能操作系统(EOS)通过支持语音识别、自然语言处理、视觉感知等多种交互方式,使用户能够以更加自然和直观的方式与智能设备互动。这种自然的交互方式打破了传统设备依赖屏幕和触控的限制,使得人与机器之间的沟通变得更加多样化和沉浸式。通过有形具身智能操作系统(EOS),用户不仅可以通过语音命令和手势操控机器人,还能够借助具身智能体的主动性实现更复杂的任务,如自主导航、环境感知、物体操作等。
当前进展与未来路线图
一、目前进展
有形具身智能操作系统(EOS)已在Github(https://github.com/EOS-team/EOS)和Gitee(https://gitee.com/LHY1999/EOS)开源,搭建了基于 Fedora-copr 的开源项目构建和发布服务(http://eos.eaishow.com/)和独立镜像源,并开源了以3D人体姿态识别为代表的空间智能或具身感知算法SDK。
图2:有形具身智能操作系统(EOS)未来路线图
二、未来规划
1、推出基于RISC-V的EOS发行版,发行版包括常见的机器人开发与应用系统库、中间件、算法库,打造便捷的开发体验;
2、依托“鲸智”工信部大模型公共服务平台(http://aihub.caict.ac.cn/)和AIIA具身智能工作组、开源开放委员会,借助开源社区力量,不断丰富具身智能和空间智能算法库算法数量;
3、EOS基于RROS针对ethercat、ROS2做原生实时性支持和优化;
4、通过协作平台,广泛收集并支撑软件算法、中间件、通信协议、实时内核、底层硬件等上下游平台的需求,基于Linux内核支撑相关组件超过1000个;
5、针对实时性,基于实时内核构造的应用接口进行上下游组件实时性优化,完成相关组件的支持和优化;
6、正式发布EOS LTS版本,并附带提供全流程开发软硬套件;
EOS团队简介
中国信通院
魏凯,中国信通院人工智能研究所所长,正高级工程师。中国人工智能产业联盟总体组组长、国际电信联盟SG16国内对口组组长。研究方向为人工智能技术,发表论文20多篇,牵头完成40多项国内国际标准,参与多项人工智能相关国家重大政策文件起草。
石霖,中国信通院人工智能研究所安全与元宇宙部主任。主要从事人工智能领域的政府支撑、技术研究、标准制定、测试评估及产业生态建设工作。参与编写了人工智能、元宇宙领域多项国际、行业标准。
李纪超,中国信通院人工智能所工程师,原字节跳动自然语言处理工程师、原腾讯广告高级研究员。EOS项目发起人,主要参与EOS具身智能与空间智能算法库Embodied Intelligence的研发工作。
白入文,中国信通院人工智能所工程师,中国科学院信息工程研究所博士。主要从事人工智能、具身智能方向技术研究、标准制定。
北京邮电大学计算机院
王尚广,北京邮电大学计算机学院教授、北京邮电大学计算机学院院长、深圳研究院副院长、网络与交换技术国家重点实验室副主任、国家杰出青年科学基金获得者、天算星座总负责人、北邮一号卫星总负责人。
徐梦炜 ,北京邮电大学计算机学院副教授,博士生导师,网络与交换全国重点实验室主任助理。于北京大学获得本科与博士学位,入选中国科协青年人才托举工程,北京市科技新星,微软亚洲研究院“铸星计划”访问学者,普渡大学访问学者。负责领导EOS内核RROS的开发,提升EOS实时性,以支持具身智能应用。
李弘宇, 北京邮电大学二年级在读博士生,是Rust双内核操作系统RROS的maintainer。
胡江涛,北京邮电大学一年级在读博士生
山宇轩,北京邮电大学二年级在读硕士生
邱奇琛,北京邮电大学二年级在读硕士生
孙子泰,北京邮电大学四年级在读本科生
北京邮电大学人工智能学院
郭军,北京邮电大学模式识别实验室主任,中国高等教育学会常务理事,北京市政协常委。主持完成国家级科研项目10余项,研究成果在SCIENCE、Scientific Reports、PLOS One、IEEE TPAMI、IEEE TNNLS、AAAI、CVPR、ICCV、ECCV等国际著名期刊和会议上发表。2017年获吴文俊人工智能科学技术进步奖一等奖,2019年获IEEE通信学会亚太区杰出论文奖
陈光,北京邮电大学人工智能学院副教授,作为主研人参与了国家自然科学基金并参与多项国家级项目。在核心期刊和重要国际会议发表论文多篇,出版教材1部。主要研究方向是模式识别、机器学习、文本计算和具身智能。
郭迪,北京邮电大学人工智能学院,教授,博导。在机器人控制、机器人感知与人机交互等领域开展了系统深入的研究工作。在机器人、人工智能等领域国际权威期刊及会议发表高水平论文50余篇。担任自动化学会智能自动化专委会秘书长;担任机器人领域重要会议RSS2024领域主席,IROS、ICRA 的Associate Editor。
王江源,北京邮电大学二年级在读硕士生,研究方向自然语言处理。曾担任百度文心一言算法实习生和阿里巴巴自然语言处理算法实习生。
清华大学
董戈 ,清华大学航天航空学院研究员、博导,中俄航天航空创新技术(国家级)国际联合研究中心主任,清华大学航院飞行器研究所副所长,俄罗斯自然科学院外籍院士、清华大学俄罗斯研究院副院长、俄罗斯莫斯科鲍曼国立技术大学荣誉教授,圣彼得堡彼得大帝理工大学客座教授。负责EOS在太空机器人、月球机器人领域的应用和教学推广。
丁轶航,清华大学一年级在读博士生。
下一步安排
EOS团队拟于10月11日下午15点,于北京市海淀区首享科技大厦1层会议室召开EOS具身智能操作系统生态合作伙伴研讨会,将对EOS的架构和未来发展路线进行介绍,欢迎具身智能、机器人、机械臂、芯片、机器人零配件、端侧大模型和基础大模型等领域公司参与本次研讨。
评论排行