会发育的人工智能：脑发育多尺度可塑性启发的自适应修剪模型塑造高效神经网络结构

　　【ZiDongHua 之智能自动化收录关键词： 中国科学院自动化研究所 曾毅 人工智能 神经网络】

　　

　　

　　近日，中国科学院自动化研究所曾毅研究员领导的“类脑认知智能研究组”在权威期刊IEEE Transactions on Pattern Analysis and Machine Intelligence（IEEE TPAMI）上发表了一篇题为“Developmental Plasticity-inspired Adaptive Pruning for Deep Spiking and Artificial Neural Networks”的新研究。他们融合生物脑多尺度发育可塑性机制，例如：树突棘动态可塑性、局部突触可塑性和活动依赖的神经元脉冲迹等，基于“用进废退”的原则设计自适应剪枝策略去除网络中冗余的突触和神经元，探索脑发育可塑性如何赋予深度神经网络以动态结构调整能力，使其像生物脑一样逐步“发育”为更高效的结构。研究所提出的通用发育可塑性自适应剪枝（DPAP）方法在深度神经网络（DNNs）和脉冲神经网络（SNNs）中均对性能和效率有显著提升。

　　

　　研究亮点

　　

　　本研究融合树突棘动态发育可塑性、突触可塑性和神经元脉冲迹等多尺度时空结构发育可塑性机制来评估突触和神经元的重要性为高效结构发育提供依据。

　　

　　本研究基于“用进废退”的原则设计了自适应剪枝策略，借鉴树突棘收缩先于突触衰减，突触剪枝先于神经元消亡的发育规律，逐步的剪枝网络中冗余的突触和神经元。

　　

　　所提通用剪枝算法在深度神经网络和脉冲神经网络中的动态结构剪枝符合大脑先快后慢逐步稳定的发育剪枝过程，在与大脑相似的约50%稀疏度时达到了最佳性能。同时，算法提高了学习性能和速度，降低了能量消耗。

　　

　　论文简介

　　

　　脑发育可塑性通过塑造生物脑动态结构对复杂环境变化展现出灵活的适应性，以极低的能耗逐步习得和完善诸多复杂的认知功能。自婴儿出生以来，突触爆炸式增长，在两三岁时达到顶峰。随后，根据“用进废退”的原则，突触数量经历了先指数型下降，后逐步稳定的过程。通过与环境不断的相互作用和自发学习，基于树突棘、突触和神经元多尺度共同作用，相互协同的发育可塑性通过动态修剪冗余突触和神经元自适应和灵活地调整了神经网络结构，提升网络自适应性的同时降低了能量消耗。受此启发，本研究认为针对日益复杂和规模不断扩大的人工神经网络，如何有效融合发育可塑性机制以获得更高效和高度自适应的神经网络结构是推进人工智能进一步发展所需的深刻和迫切的研究。

 

　　

　　图1：脑发育机制启发的自适应剪枝方法

　　

　　研究深度融合受生物脑多尺度发育可塑性变化机制启发的策略，如图1所示。依据树突棘收缩先于突触衰减，突触剪枝先于神经元消亡的发育规律，使用基于脉冲迹的Bienenstock-Cooper-Munros（BCM）突触可塑性评估突触重要性；使用综合神经元脉冲迹和 BCM 突触可塑性的树突棘动态可塑性评估神经元重要性。此外，根据“用进废退”的原则，研究设计了突触和神经元的存活函数来综合其长期重要性。当存活函数多次小于0时，对应的突触和神经元才会被剪枝，以确保剪枝的准确性。

　　

　　研究提出的通用自适应剪枝算法对DNNs和SNNs均适用，特别地对于事件驱动的 SNNs，引入了空间和时间维度的联合剪枝。其中，空间维度重要性以时间脉冲序列为基础计算，时间维度剪枝考虑了空间中突触前后神经元状态。在多个空间数据集和神经形态数据集的不同任务中，DPAP方法实现了类脑的剪枝过程和稀疏结构，针对DNNs和SNNs都提高了收敛速度和正确率的同时降低了能耗如图2。特别是所提出的时空联合剪枝方法在神经形态数据集上为 SNNs 带来了最先进的性能，能耗仅为原固定基础网络的 6.00%。

 

　　

　　图2：所提DPAP方法提高了模型性能和学习速度，降低能量消耗

　　

　　论文的第一作者博士生韩冰说:

　　

　　“我们的研究遵循生物脑结构发育可塑性过程，融合多尺度树突棘、突触和神经元动态结构变化提出了一种通用的自适应剪枝算法。通过生物合理的可塑性建模，我们发现所提出的DPAP方法的整体剪枝优化过程和结果符合大脑的宏观发育修剪规律。在大脑中，剪枝是一个与学习同时进行的在线过程，神经剪枝速率先快后慢，最后趋于稳定。我们的实验显示，在DPAP方法的学习过程中，网络中的连接总数首先急剧下降，然后逐渐保持稳定如图3，符合大脑的剪枝过程。此外，不同于其它剪枝方法稀疏度增高性能下降的现象，所提方法的性能随稀疏度的增高先提升后下降，并在约50%左右达到最佳性能，这与成年大脑的稀疏度一致。”

 

　　

　　图3：基于脑发育可塑性的剪枝实现类脑的结构优化过程

　　

　　论文的共同第一作者赵菲菲副研究员说:

　　

　　“我们的方法具有很高的生物合理性，并从多个方面为理解发育中大脑的自然剪枝过程提供了启示。在大脑中，树突棘的收缩和消亡是神经元活动和突触可塑性降低的结果，同时，树突棘消亡以及突触剪枝是神经元修剪的先决条件。因而，依据树突棘收缩先于突触衰减，突触剪枝先于神经元消亡的发育机制，DPAP方法修剪突触或神经元并不是一个瞬间的冲动决定，而经历了持续多次基于多尺度可塑性的综合评估。只有连续衰减的突触和神经元才会被逐渐剪枝，确保了被修剪的突触或神经元是多余的，也符合大脑中树突棘、突触和神经元相互影响，逐步修剪的发育规律。我们将所提到的发育可塑性成功引入深度和脉冲神经网络的结构优化中表明发育规则使神经元能够自组织形成类脑高效神经网络结构。”

　　

　　论文的通讯作者曾毅研究员说：

　　

　　“我们的研究可以说是脑科学与人工智能双向启发又一个典型的案例。我们在同一个神经网络计算模型中融合了脑发育过程中多尺度的突触、神经元自适应新生与消亡机制，探索了这些原理在计算层面的协同，通过计算建模进一步验证了脑发育原理。在此基础上提出基于类脑发育可塑性的通用结构学习理论，受此启发构建结构动态发育的低能耗、高性能类脑神经网络。这项研究揭示了发育可塑性在助力神经网络自适应形成类脑高效结构方面的重要价值和关键作用，同时也从一个侧面验证了这些原理对于生物脑在发育过程中将大脑塑造为更具自适应性的结构。融合学习-发育-演化原理的类脑人工智能是我们团队在人工智能科学创新方面的持久努力和我们近10年来的理论研究重要核心，此项研究是我们实验室在类脑发育神经网络方面的又一新进展，并已开源开放，汇入我们面向通用智能的类脑认知智能引擎“智脉(BrainCog)”，为发展高适应性、高性能的类脑人工智能模型与平台提供了有力的理论与技术支持。”

　　

　　论文标题：

　　

　　Developmental Plasticity-inspired Adaptive Pruning for Deep Spiking and Artificial Neural Networks

　　

　　论文地址：

　　

　　https://ieeexplore.ieee.org/document/10691937

　　

　　论文源码：

　　

　　https://github.com/BrainCog-X/Brain-Cog/tree/main/examples/Structural_Development/DPAP

　　

　　作者简介：

　　

　　韩冰

　　

　　中国科学院自动化研究所类脑认知智能研究组2021级博士研究生，导师为曾毅研究员，研究方向为脑发育机制启发的脉冲神经网络模型。目前已在IEEE TPAMI、IEEE TAI、IJCAI、Patterns、iScience、Information Sciences、Scientific Reports等发表论文多篇。

　　

　　赵菲菲

　　

　　中国科学院自动化研究所类脑认知智能研究组副研究员。研究方向为类脑决策、发育及演化脉冲神经网络。相关成果发表于Cell出版社旗下Patterns、iScience、IEEE TPAMI、IEEE TAI、IEEE TCDS、Neural Computation、Information Sciences、Scientific Reports、Cognitive Computation等国际期刊及国际会议IJCAI等。

　　

　　曾毅

　　

　　中国科学院自动化研究所研究员、类脑认知智能研究组负责人、脑图谱与类脑智能实验室副主任、人工智能伦理与治理研究中心主任；中国科学院大学岗位教授、博士生导师；中国人工智能学会心智计算专委会主任；国家新一代人工智能治理专委会委员；联合国人工智能高层顾问机构专家；联合国教科文组织人工智能伦理特设专家组专家。研究方向为：类脑人工智能、人工智能伦理、治理与可持续发展。被美国《时代周刊TIME》评为人工智能最具影响力100人。

　　

　　相关成果发表于PNAS、Cell Press旗下期刊Patterns、iScience，Nature出版社旗下Scientific Data、Scientific Reports，以及Science出版社旗下Science Advances、人工智能领域重要期刊IEEE TPAMI、TVLSI、TCAD、TCDS、TAI、Neural Networks以及人工智能领域重要国际会议NeurIPS、CVPR、IJCAI和AAAI等。

　　

　　申国斌

　　

　　中国科学院自动化研究所类脑认知智能研究组2021级博士研究生，导师为曾毅研究员，研究方向为脑发育机制启发的脉冲神经网络模型。目前已在PNAS、Patterns、Neural Networks、Information Sciences、IEEE TVLSI、IEEE TCAD、CVPR、NeurIPS、IJCAI, AAAI、MM、FPL等发表论文多篇。

　　

　　类脑认知智能实验室

　　

　　类脑认知智能实验室(BrainCog Lab)隶属于中国科学院自动化研究所，实验室成立于2013年，是从事类脑人工智能前沿理论和脑与智能交叉创新的研究团队。由中国科学院自动化研究所脑图谱与类脑智能实验室副主任曾毅研究员担任团队负责人。

　　

　　类脑认知智能实验室以构建面向通用人工智能的类脑认知智能模型与应用为主要研究内容，特别是在类脑脉冲神经网络学习、发育与演化机理、类脑可塑性理论体系、类脑知识表征与推理、类脑决策理论、意识计算模型、情感与伦理道德的类脑模型等方面开展研究。

　　

　　实验室研制的类脑认知智能引擎“智脉(BrainCog)”致力于为新一代人工智能前沿探索打造基于脉冲神经网络的通用人工智能引擎，服务于人类与人工智能的和谐共生。

　　

　　类脑认知智能实验室(BrainCog Lab)主页：http://www.braincog.ai

　　

　　类脑认知智能引擎“智脉(BrainCog)”主页：http://www.brain-cog.network/