【ZiDongHua 之自动化学院派收录关键词： 机器学习 神经计算 脑机交互 中国科学院自动化研究所】
 
 
　　自动化所团队构建人脑基础情感空间，揭示细粒度情绪在大脑中的拓扑表征模式
 
 
　　导读 | 近日，中国科学院自动化研究所神经计算与脑机交互团队基于机器学习方法和神经影像数据构建了人脑基础情感空间，揭示了人脑在自然视觉刺激下的细粒度情绪编码模式。相关研究成果以Topographic representation of visually evoked emotional experiences in the human cerebral cortex 为题发表于细胞出版社旗下期刊 iScience。
　　
 
　　情感体验在人类大脑中的空间表征模式一直存在“定位论”和“构建论”之争。探究人类情绪体验的神经机制一直是情感神经科学研究的热点问题。早期关于情绪在大脑中表示的研究主要集中在Ekman从人类面部表情中发现的六类基本情绪类别（快乐，悲伤，愤怒，厌恶，恐惧，惊讶）。近年来，随着心理学的发展，研究人员发现了人类可以表达出更加细粒度的情绪类别，如Admiration（欣赏）、Adoration（崇拜）等。尽管先前的研究已经提出了基本情绪类别的定位主义理论，即离散的情绪类别由大脑的特定区域独立编码，但是这一理论难以揭示更加细粒度的情绪类别在大脑中表示的神经机制。
 
　　为了探究上述问题，中国科学院自动化研究所神经计算与脑机交互团队结合自然视觉刺激下的神经影像数据构建体素级神经编码模型，从中挖掘出人脑基础情感空间，并基于此解析出细粒度情绪（27类）在大脑中的编码模式（图1）。研究数据来源于5名被试在观看短视频片段时的fMRI响应以及多名标注者对这些短视频片段的细粒度情绪评分。
 
　
 
　　图1. 本论文研究框架。为了探究细粒度情绪类别在大脑中表示的神经机制，该研究进行了一系列分析。（第一行）首先，被试观看短视频片段并且获取其fMRI响应。（中间行）接下来，构建体素级神经编码模型并应用主成分分析获取人脑基础情感空间。（最后一行）对该空间进行深入探究，发现了4条连续延展的情绪梯度，并利用假设的情感维度对该空间进行解释。
 
　　>>>>
 
　　研究发现
 
　　研究发现，人脑对细粒度的情绪类别的编码广泛分布在大脑皮层的多个区域。与此同时，人脑的基础情感空间揭示了细粒度的情绪类别在大脑皮层上呈现出连续的梯度编码模式，而这些梯度可以在一定程度上被另一种情绪模型——情感维度（Affective dimension）所解释。
 
　　1. 情绪相关体素的皮层分布
 
　　细粒度的情绪类别在大脑中的表示广泛分布在如颞顶交界区（temporo-parietal junction，TPJ）、下顶叶顶角皮层（inferior parietal lobule，IPL）以及外侧枕叶（lateral occipital，LO）等多个区域（图2），这与传统的定位主义假说相矛盾。
 
　
 
　　图2. 编码模型的性能。（A）模型的预测精度在皮层上的投影，预测效果较好的体素呈现为黄色。（B）部分重要ROI中预测显著的体素比例。（C）所有体素预测精度的直方图。
 
　　2. 人脑的基础情感空间和情绪梯度
 
　　研究人员构建了人脑基础情感空间（图3），这一情感空间在多个被试之间存在一致性（图3B），并由此发现了4条连续延展的情绪梯度（图4），这些梯度绝大部分分布在默认模式网络中（default mode network，DMN）。研究人员进一步发现，与行为学情感空间不同，细粒度的情绪类别在人脑中的表示并不是简单地沿着积极和消极分布（图3C,D），这也反映了人脑自发的响应模式和人类行为模式之间的差异性。
 
　　
 
　　图3. 人脑基础情感空间和皮层投影。（A）使用主成分分析从编码模型中获取人脑基础情感空间并且采用Watcher方法确定情感空间维度。（B）人脑基础情感空间的跨被试一致性。（C）人脑基础情感空间的2D可视化。（D）行为学情感空间的2D可视化。（E）人脑基础情感空间在大脑皮层上的投影。（F）人脑基础情感空间的每一维度在皮层上的投影。
 
　　
 
　　图4. 从人脑基础情感空间中发现的4条连续的情绪梯度。梯度1起始于下顶叶顶角皮层（IPL）后侧，并向前扣带回皮层（ACC）转移；梯度2起始于颞顶交界区（TPJ）后侧，并终止于颞下区（TE）。从PC1观察到的这两个梯度的一端位于单模态区域，而另一端位于跨模态区域（IPL和TPJ），与从抑制到刺激情绪的过渡相关（Arousal）。梯度3起始于顶枕沟，穿过顶枕（PC）并结束于后中央旁区。这个梯度从PC2中得出，与Approach维度相关。梯度4起始于背外侧前额叶皮层后侧（DLPFC），并向背内侧前额叶皮层（DMPFC）转移。该梯度位于前额叶皮层，主要在PC3(Attention)中反映出来，同时也与PC4(Commitment)相关。这些梯度大部分位于默认模式网络（包括TPJ,IPL,PC以及DMPFC）。
 
　　3. 利用假设的情感维度对情感空间进行解释
 
　　为了进一步对人脑基础情感空间进行解释，研究人员将该空间的每一维度与假设的14个情感维度（如Arousal、Valence、Dominance等）进行相关性分析（图5）。研究发现人脑基础情感空间的前四维可以在一定程度上分别由Arousal、Approach、Attention、Commitment进行解释。这也可以看作是视觉感知中的视网膜拓扑映射理论在人类情绪感知中的推广。
 
　　

 
　　图5. 人脑基础情感空间与假设的情感维度空间之间的关系。（A）每一条线代表着对应的PC和假设的情感维度之间的标准化皮尔逊相关系数，只显示了具有强相关的部分，如PC1和Arousal。（B）所有PC和假设的情感维度之间的标准化皮尔逊相关系数矩阵。
 
　　综上所述，相关发现为细粒度情绪体验的神经机制研究提供了新的见解，为情绪在大脑中表示的构建主义理论提供了新的依据，同时也在人脑基础情感空间中调和了情绪类别和情感维度两种情绪模型的争论。面向未来类脑情感智能模型的研发以及提升大模型的情感理解能力，该研究也将提供有效的理论支撑。
 
　　本论文由中国科学院自动化研究所副研究员杜长德和博士生付铠城作为共同第一作者，何晖光研究员为通讯作者，中国科学院脑智卓越中心文彬丞博士生也参与了此项研究。研究工作得到了科技部科技创新2030—“新一代人工智能”重大项目、基金委项目、以及CAAI-华为MindSpore学术奖励基金及智能基座等项目的支持。为促进该领域的持续发展，研究团队已将代码和相关数据集开源。