新一代类脑生成式人工智能:神经元-胶质细胞协同生成式类脑脉冲神经网络发布
生成式人工智能模型一般为数据驱动的人工神经网络模型，缺乏生物合理性并具有较高功耗。而现有脉冲神经网络生成模型一般是对基于人工神经网络的生成式人工智能模型进行转换。近日, 由曾毅博士领导的中国科学院自动化研究所类脑认知智能团队和远期人工智能研究中心联合提出了一种类脑生成式人工智能模型，该模型的核心是由星形胶质细胞调控的类脑生成式脉冲神经网络，将神经元-星形胶质细胞相互作用融入计算范式中，并据此构建了第一个类脑脉冲神经网络大语言对话模型，并在保持高生物合理性和计算可行性的同时，展现了数据和能源效率方面的显著优势。相关文章于2023年12月12日在线发表于arXiv。
数据驱动的生成式人工智能在行为和用户体验上近期达到了前所未有的高度，然而由于其在智能机制机理上与自然演化塑造的人脑有显著差异，使得这种方法是否能支持实现真正意义的人工通用智能这个问题广受关注。类脑人工智能被认为是实现基于自然机制与机理发展人工智能更为坚实的途径。更具生物合理性的类脑脉冲神经网络以脉冲神经元作为基本的计算单元，通过脉冲序列进行信息传递与智能信息处理。
然而，尽管脉冲神经网络在设计上具有生物合理性和相对创新性，它们也面临着诸多挑战。这些模型往往只展现出有限的、单一的特性，与人脑神经元的丰富多样响应形成鲜明对比。此外，它们的设计通常无法在时间上实现解耦，缺乏并行处理能力，这反过来限制了大规模脉冲神经网络的训练和应用。以往的研究主要集中于神经元之间的互动，而忽视了神经胶质细胞，特别是星形胶质细胞的重要作用。考虑到神经胶质细胞在神经行为和信息处理中的关键影响，忽略它们可能会阻碍我们对神经系统的全面理解，类脑智能模型中仅有神经元模型更可能忽略了自然智能体的系统性设计。
星形胶质细胞作为中枢神经系统不可或缺的一部分，与突触前和突触后的神经元共同构成了三方突触结构，通过释放胶质递质积极介入神经元之间的信息交互。这种调节机制对神经网络在信息处理方面的能力至关重要。
本研究第一作者博士生申国斌介绍：在本研究中，研究团队将星形胶质细胞引入类脑脉冲神经网络的计算模型，构建了星形胶质细胞调控的脉冲神经网络（AstroSNN）。如下图所示，研究将星形胶质细胞纳入脉冲神经网络模型之中，它们通过与多个神经元突触的连接，为脉冲神经网络(SNNs)增加了一个额外的、长期的信息处理层。这些细胞不仅在物理上提升了神经网络的复杂度，而且在功能上引入了新的维度。它们通过调节突触活动和神经递质的释放，为神经网络带来了时间维度的信息记忆和处理能力。特别是，星形胶质细胞的引入使得SNNs能够捕捉并维持输入信号之间的长期关联，这在传统基于神经元的网络模型中是难以实现的。在处理长期记忆和复杂序列分析任务时，这种新的网络结构显示出显著优势。
本研究主要作者之一赵东城博士介绍：传统的LIF脉冲神经元模型虽然受到生物脑神经元启发，但对真实世界的神经元行为进行了相当简化的抽象。它们的主要局限是将神经元表示为标量实体, 具体体现在神经元的隐状态不存在向量操作。这种方法阻碍了神经元之间的交流，因为它们无法有效传递一系列数值或复杂信息, 这与生物神经系统大相径庭。这种标量性质虽然计算效率高，但却牺牲了丰富的表征和适应性，从而限制了网络捕捉复杂模式和依赖关系的能力。得益于星形胶质细胞的引入, 星形细胞调制的脉冲单元 (AM-SU)具有更丰富的隐藏状态表示 (神经元数量的平方倍)，这赋予了它更强的记忆和信息处理能力。通过合并脉冲神经元的动态时间行为和星形胶质细胞的调节影响，AM-SU可以捕捉到更广泛的神经元活动和依赖关系。与LIF神经元相比，AM-SU的设计确保了更好的并行处理和更广泛的状态表征（如下图所示）。
在星形细胞调制的脉冲单元 (AM-SU)中，不同时刻的内部状态线性相关, 非线性的操作仅存在于对于输入和输出的处理。这样的设计实现了AM-SU内部状态的时间上的解耦。在知道之前时刻所有的输入刺激, 就能够通过O(1)的复杂度并行化计算出之前所有时刻的神经元的输出。我们在英特尔 13900K CPU 上进行了分析，比较了AstroSNN 和 GPT2的推理开销, 结果如图3所示，显示了 AstroSNN 在不同序列长度下的延迟、吞吐量和内存使用方面的卓越性能。
基于此, 我们在具有800GB语料的预训练数据集The Pile上训练了一个拥有 15 亿个参数的类脑生成式人工智能模型AstroSNN, 该模型能够具有一定的对话能力。这也是就研究团队所知第一个基于脉冲神经网络模型的具有对话能力的大语言对话模型。对话的样例如图4所示.
基于胶质细胞-脉冲神经元协同的类脑生成式脉冲神经网络模型AstroSNN将脑启发的神经科学原理与先进的计算技术深度融合，并在大规模生成式人工智能方面取得应用，为生成式人工智能、类脑智能、神经形态计算引入了新思想与实质进展。与当前主流的基于人工神经网络的大模型不同，AstroSNN采用了类脑脉冲神经网络，并巧妙地引入了星形胶质细胞，这种创新方法解决了基于 LIF 的传统 SNN 固有的局限性，显著提升了模型的表征能力和处理复杂时间依赖关系的能力。这些胶质细胞通过与众多脉冲神经元的突触连接，为脉冲神经网络增添了一个全新的、长期的信息处理维度。它们的加入，使得AstroSNN能够捕捉到更加丰富和深入的神经活动及其相互依赖关系。在面对复杂的语言理解和生成任务时，AstroSNN不仅显示出与大型语言模型相媲美的能力，而且其运行时的计算负担仅是后者的一小部分。
该项研究的负责人曾毅博士说：“我们所塑造的类脑生成式人工智能(Brain-inspired Generative AI)与传统生成式人工智能具有显著不同的理念，长远目标是自然与生物智能机制机理启发、相对小数据、低功耗、高智能。学习了大规模数据的类脑智能模型如果在机理机制上具备生物意义的智能，必将有潜力达到人工通用智能。基于胶质细胞-脉冲神经元协同的类脑生成式脉冲神经网络模型AstroSNN不仅是对现有生成式人工智能模型的反思与变革，更是对下一代人工智能的探索。它在保持高智能处理能力的同时，展现了数据和能源效率方面的显著优势，为未来的生成式人工智能、人工通用智能提供了新的方向”。
作者简介：
申国斌
中国科学院自动化研究所类脑认知智能研究组2021级博士研究生，导师曾毅研究员。主要研究方向为类脑脉冲神经网络可塑性建模。目前已在PNAS, Patterns、Neural、Networks Information Sciences、IEEE TVLSI、ACM ToMM、NeurIPS、IJCAI, AAAI等发表论文多篇。
赵东城
中国科学院自动化研究所类脑认知智能研究组助理研究员，远期人工智能研究中心首席研究员。研究方向为类脑脉冲神经网络、类脑深度神经网络。目前已在PNAS、IEEE TVLSI、Scientific Data、Patterns、Neural Networks、Information Sciences、NeurIPS、AAAI、IJCAI等发表论文多篇。
董一廷
中国科学院自动化研究所类脑认知智能研究组2020级博士研究生。导师曾毅研究员。主要研究方向为类脑脉冲神经网络不同监督方式和可塑性研究。目前已在PNAS、Patterns、Neural Networks、Scientific Data、NeurIPS等发表论文多篇。
李杨
中国科学院自动化研究所类脑认知智能研究组2019级博士生，导师为曾毅研究员。研究方向为类脑脉冲神经网络优化方法。目前已在Scientific Data，Neural Networks，Information Sciences，Frontiers in Computational Neuroscience，IJCAI、NeurIPS等发表论文多篇。
李金东
中国科学院自动化研究所类脑认知智能研究组2022级硕士研究生在读。主要研究方向为类脑脉冲神经网络软硬件协同创新与实现。目前已在IEEE TVLSI发表论文。
孙康
远期人工智能研究中心副主任，研究方向为人工智能安全、伦理与治理，类脑人工智能。目前已在AI and Ethics、IPSJ Magazine等发表论文多篇。
曾毅
中国科学院自动化研究所研究员、类脑认知智能研究组负责人、脑图谱与类脑智能实验室副主任、人工智能伦理与治理研究中心主任；中国科学院大学岗位教授、博士生导师；远期人工智能研究中心创始主任；中国人工智能学会心智计算专委会主任；国家新一代人工智能治理专委会委员；联合国人工智能高层顾问机构专家；联合国教科文组织人工智能伦理特设专家组专家。研究方向为：类脑人工智能、人工智能伦理、治理与可持续发展。被美国《时代周刊(TIME)》评为人工智能最具影响力100人。
代表性成果发表在PNAS、Cell Press旗下期刊Patterns、iScience，Nature出版社旗下Scientific Data、Scientific Reports、Humanities and social sciences communications，以及Science出版社旗下Science Advances、IEEE Transactions、Neural Networks以及人工智能领域重要国际会议NeurIPS、IJCAI和AAAI等。
类脑认知智能实验室
类脑认知智能实验室(BrainCog Lab)隶属于中国科学院自动化研究所，实验室成立于2013年，是从事类脑人工智能前沿理论和脑与智能交叉创新的研究团队。由中国科学院自动化研究所脑图谱与类脑智能实验室副主任曾毅研究员担任团队负责人。
类脑认知智能实验室以构建面向通用人工智能的类脑认知智能模型与应用为主要研究内容，特别是在类脑脉冲神经网络学习、发育与演化机理、类脑可塑性理论体系、类脑知识表征与推理、类脑决策理论、意识计算模型、情感与伦理道德的类脑模型等方面开展研究。
实验室研制的类脑认知智能引擎“智脉(BrainCog)”致力于为新一代人工智能前沿探索打造基于脉冲神经网络的通用人工智能引擎，服务于人类与人工智能的和谐共生。
类脑认知智能实验室(BrainCog Lab)主页：http://www.braincog.ai
类脑认知智能引擎“智脉(BrainCog)”主页：http://www.brain-cog.network/
远智观点(Views on Long-term AI)关注人工智能伦理与治理近期与长远发展的理论研究、观点分析与实践，旨在培育领域前瞻思想，促进国内、国际观点对话与交流，助力领域共识、规范与政策的形成。主要涉及近期与长远人工智能的风险与挑战、人工智能伦理与治理理论与实践、通用人工智能与超级智能的发展途经及其社会影响、国防人工智能与军控、人工智能促进世界和平、人工智能助力可持续发展。
评论排行