【ZiDongHua 之自动化学院派收录关键词：普林斯顿大学   脑科学研究 自然语言处理  细胞出版社】

 

美国普林斯顿大学神经科学家：在谈话过程中，说话者和听话者的大脑活动与特定词汇相关

 

当两个人互动时，他们的大脑活动会变得同步，但人们直到现在还不清楚这种“脑对脑耦合”在多大程度上归因于语言信息或其他因素，如肢体语言或语调。8月2日，研究人员在细胞出版社（Cell Press）旗下期刊Neuron上报告说，通过分析谈话中使用的词语及其语境，可以模拟谈话中的脑对脑耦合。

 

论文第一作者、美国普林斯顿大学神经科学家Zaid Zada说：“我们可以看到，在说话者真正说出他们想说的话之前，语言内容一个字一个字地出现在他们的大脑中，而同样的语言内容在听者听到后迅速重现在他们的大脑中。”

 

为了进行口头交流，我们必须对不同单词的定义达成一致，但这些定义可能会根据上下文而变化。例如，如果没有语境，就不可能知道“冷”这个字是指温度、性格特征，还是感冒。

 

联合通讯作者、普林斯顿大学神经学家Samuel Nastase说：“单词在特定句子或特定对话中出现时的语境意义，对我们理解彼此的方式非常重要。我们想测试语境在协调说者和听者大脑活动方面的重要性，试图量化在谈话中，大脑之间分享了什么。”

 

为了研究语境在驱动大脑耦合中的作用，研究小组收集了癫痫患者在自然对话中的大脑活动数据和对话记录。这些患者在纽约大学医学院综合癫痫中心接受了与临床目的无关的皮质电成像颅内监测。与功能磁共振成像等侵入性较小的方法相比，皮质电成像记录的大脑活动分辨率极高，因为电极与大脑表面直接接触。

 

接下来，研究人员使用大型语言模型GPT-2提取了对话中使用的每个单词的上下文，然后使用这些信息训练了一个模型，以预测对话中信息从说者流向听者时大脑活动的变化。

 

利用这个模型，研究人员能够观察到说者和听者大脑中与特定语境的单词含义相关的大脑活动。他们发现，说者在说出每个单词前250毫秒左右大脑中特定单词的大脑活动达到峰值，而听者在听到相同单词后250毫秒左右大脑中出现相应的大脑活动峰值。

 

与之前关于说者—听者大脑耦合研究相比，该团队基于语境的方法模型能够更好地预测大脑活动的共享模式。

 

“这显示了环境的重要性，因为它最好地解释了大脑数据。”Zada说，“大型语言模型包含了语言学的所有不同元素，如语法和语义，并用一个高维向量表示它们。我们证明，这类统一模型能够优于其他语言学手工设计模型。”

 

未来，研究人员计划扩展其研究，将该模型应用于分析其他类型的大脑活动数据，例如功能磁共振成像数据，以研究大脑中皮质电成像无法访问的部分如何在对话中运作。

 

“未来有很多令人兴奋的工作要做，例如看看不同的大脑区域如何在不同的时间尺度和不同的内容下相互协调。”Nastase说。

 

信息来源：细胞出版社