近日，上海交通大学计算机学院吕宝粮教授和郑伟龙副教授团队在IEEE Transactions on Affective Computing上发表了题为“Investigating the Effects of Sleep Conditions on Emotion Responses with EEG Signals and Eye Movements”的研究论文。吕宝粮教授指导的直博生李子怡为该论文的第一作者。

该研究始于2019年，目的是通过研究正常人在睡眠剥夺条件下的情绪识别，探讨抑郁症客观评估的情绪诱发范式、情绪诱发素材以及生物标记物。先后有两位硕士研究生陶乐妍和马睿骁的硕士学位论文围绕该题目开展了相关研究，他们从数据采集到模型构建和数据分析，做了大量前期的基础性工作。

在心理学与神经科学领域，尽管有一些关于睡眠剥夺对情绪反应影响的研究成果。但是在这些研究中，对人的情绪状态的评估大多基于问卷和量表，而非基于人的生理信号。该研究与已有工作的重要区别是应用先进的深度学习技术，定量地分析睡眠剥夺对人的情绪识别所造成的影响。

为了开展上述研究，团队构建了SEED-SD数据集，一个涵盖40名被试的脑电和眼动信号的多模态情绪数据集。被试的睡眠状态分别为睡眠剥夺（SD）、睡眠恢复（SR）和正常睡眠（NS）。每种睡眠状态均对应四种基本情绪的识别：愉快、悲伤、恐惧与中性状态。同时，团队提出了区域Transformer模型（Region Transformer with Layer-Fusion，ReLF）。利用ReLF在SEED-SD数据集上的系统分析表明，睡眠剥夺显著影响情绪识别的准确性，而睡眠恢复与正常睡眠下的情绪识别性能相近。

主要贡献如下：

1.构建了SEED-SD数据集，一个睡眠剥夺条件下的脑电和眼动信号的多模态情绪数据集，包含40名被试在三种睡眠状态（SD、SR和NS）下，对四类目标情绪（愉快、悲伤、恐惧和中性）诱发的脑电与眼动数据。SEED-SD总时长达109.8小时，是目前已公开的最大规模的、涵盖多种睡眠状态的多模态情绪数据集。

2. 提出了ReLF（Region Transformer with Layer-Fusion）算法，通过分区多头自注意力机制提取不同模态的局部特征：脑电的脑区特征与眼动的特征类型信息。在模态缺失场景下引入提示微调机制，实现对预训练模型的高效适配与微调。

3. 在SEED-SD数据集上，对睡眠剥夺条件下的情绪识别进行了系统的分析，实验结果表明：睡眠剥夺显著降低情绪识别性能，而睡眠恢复与正常睡眠状态表现相近，突显出睡眠恢复在缓解睡眠剥夺不利影响方面的重要作用。此外，不同睡眠状态虽不会改变模态互补性和关键频段的分布，但脑电与眼动的神经模式在不同状态间存在明显差异。

图1：实验流程。每位被试需完成三个不同睡眠状态下的实验：睡眠剥夺、睡眠恢复和正常睡眠。第一次实验在经历整晚睡眠剥夺后进行，第二次实验安排在连续8小时睡眠恢复后的次日进行。最后，在至少一周的规律作息并连续两晚每晚保证8小时睡眠的基础上，被试进行第三次实验。每次实验均需观看24段情绪视频，每种情绪6段视频，三次实验素材不同。刺激素材与SEED-IV数据集完全一致

论文作者介绍：

李子怡：2020年在华南理工大学电子与信息学院获得电子科学与技术学士学位。目前，她是上海交通大学计算机学院博士研究生。她的研究方向包括情感计算、脑机接口与机器学习。

陶乐妍：2018年和2020年在上海交通大学分别获得信息工程学士学位和信息工程硕士学位。她的研究方向为情感计算、脑机接口与机器学习。

马睿骁：2019年毕业于上海交通大学巴黎高科学院，并于2022年在同一学院获得硕士学位。他的研究兴趣包括情感计算、脑机接口和机器学习。

郑伟龙：上海交通大学计算机学院长聘教轨副教授，博士生导师。入选国家级高层次海外青年人才和上海市海外高层次青年人才。他于2018年在上海交通大学计算机科学与工程系获得博士学位，之后在哈佛大学医学院麻省总医院和麻省理工学院从事博士后研究，长期从事脑认知与智能、情感计算、脑机交互、类脑计算理论与模型等方面研究。在国际高水平会议和期刊发表研究论文110余篇，多篇论文入选ESI高被引论文。荣获IEEE Transactions on Autonomous Mental Development最佳论文奖、IEEE Transactions on Affective Computing最佳论文奖、ACM Multimedia Top Paper Award、中国人工智能学会优秀博士学位论文奖以及吴文俊人工智能自然科学一等奖，入选上海市浦江人才项目、小米青年学者、微软亚洲研究院铸星计划、2023和2024全球前2%科学家年度影响力榜单。目前担任IEEE Transactions on Affective Computing编委。个人主页：https://weilongzheng.github.io/

吕宝粮：上海交通大学计算机学院二级教授、博士生导师、IEEE Fellow。1994年获日本京都大学工学博士学位，现任上海交通大学智能人机交互与认知工程上海高校重点实验室主任和上海零唯一思科技有限公司首席科学家，担任IEEE Trans. Affective Computing和Journal of Neural Engineering编委。荣获2018 IEEE Trans. Autonomous Mental Development最佳论文奖、2020年度吴文俊人工智能自然科学一等奖、2021 IEEE Trans. Affective Computing最佳论文奖和2022亚太神经网络学会杰出成就奖，入选爱思唯尔2020至2024中国高被引学者榜单。主要研究领域包括深度学习、脑电大模型、情感智能、情感脑机接口及其在情感障碍疾病客观评估中的应用。

ReLF： https://github.com/iiieeeve/ReLF

SEED-SD： https://bcmi.sjtu.edu.cn/home/seed/index.html

论文原文：https://ieeexplore.ieee.org/document/11010138