探索发现 · 交大智慧
开创嗅觉刺激情绪诱发新范式
上海交大计算机学院吕宝粮和郑伟龙团队发布嗅觉刺激情绪脑电数据集SEED-OLF
近日,上海交通大学计算机学院通用人工智能研究所仿脑计算与机器智能研究中心吕宝粮教授和郑伟龙副教授团队在IEEE Transactions on Affective Computing上发表了题为SEED-OLF: A Novel EEG Dataset with Olfactory Stimulation for Emotion Recognition的研究论文。这是国际上第一个基于嗅觉刺激的情绪脑电公开数据集。

从生理信号中精确地识别人的情绪状态是情感脑机接口研究的核心问题之一。尽管基于视觉和听觉诱发的情绪脑电信号已得到了广泛探讨,嗅觉作为一种能够直接投射至大脑边缘系统(该区域主要负责情绪加工与记忆处理)的原始感官通道,在情感脑机接口研究中仍处于起步阶段(见图1)。相比视觉与听觉刺激,嗅觉诱发的情绪反应更加直接且深层,具有独特的研究价值与应用潜力。为了填补嗅觉情绪诱发研究的空白,本文提出了基于嗅觉刺激的情绪诱发范式,并构建了一个名为 SEED-OLF 的新型脑电数据集。该数据集记录了32名被试者在不同嗅觉刺激下的脑电(EEG)信号,涵盖了从嗅探动作识别到主客观情绪效价(Valence)解码的多样化任务,为探索嗅觉诱发情绪新范式和多模态情感脑机接口及其神经机制提供了宝贵的数据资源。

图1:本文研究的嗅觉刺激的情绪诱发范式与传统的视觉与听觉情绪诱发范式示意图
本文的主要贡献包括以下几点:
1、提出了一种新型嗅觉诱发情绪实验范式并构建了 SEED-OLF 数据集。研究团队设计了一套嗅觉情绪诱发实验范式。通过对21种气味进行严格的预实验筛选,最终选定了最具代表性的正向和负向情绪诱发素材,并构建了专门用于情绪识别的嗅觉脑电数据集 SEED-OLF。
2、针对嗅觉认知过程设计了三种分类任务。从生理行为到心理感知,论文定义了三个核心解码任务:嗅探动作识别、主观情感效价解码以及气味客观效价解码。上述任务所对应的脑电数据为深入探索嗅觉诱发情绪提供了多维度的基础数据支撑。
3、提出了捕获多维特征的双流脑电解码模型。针对脑电信号的复杂特性,提出了一种全新的双流脑电网络(DSEN)。该模型通过并行的时空流与频谱流,能够协同提取信号中的动态时空依赖与非线性频谱特征,显著提升了嗅觉情绪的识别精度。
4、开展了系统的对比实验并揭示了特定的神经激活模式。通过与多种 SOTA 模型进行系统性对比,验证了 DSEN 的优越性能;同时,利用脑地形图分析揭示了嗅觉情感处理中特定频段与脑区的神经规律,为嗅觉情绪解码提供了神经科学依据。

图2,基于嗅觉刺激的情绪诱发实验方案。图中不同颜色的容器代表具有不同情绪效价的气味类别。
为了减轻嗅觉疲劳并避免快速的嗅觉适应对诱发效果的影响,本研究采用了多段(Session)实验设计,段之间间隔需超过24小时以确保数据的独立性。每段由6个轮次(Fold)组成,每个轮次内四种代表性气味以随机顺序呈现一次,并设置了充足的恢复环节。图2下方展示了单次实验片段(Trial i)的详细过程,共包含四个阶段:1)准备阶段(约1分钟):被试通过交互界面接收实验指令并做好准备;2)刺激阶段(15秒):通过嗅觉面罩输送气味,要求被试注视屏中十字并保持正常呼吸;3)自评阶段(约10秒):被试通过交互界面报告其感知到的主观情绪效价;4)静息呼吸阶段(30秒):输送洁净空气以清除残留气味,使被试的生理状态恢复至基准水平。
SEED系列数据集简介:
自2015年10月对外正式发布上海交通大学情绪脑电数据集SEED (SJTU Emotion EEG Dataset)以来,吕宝粮教授和郑伟龙副教授团队深耕情感脑机接口及其应用,先后发布了SEED系列的十三个子集。该系列已涵盖四个标准情绪数据集(SEED、SEED-IV、SEED-V和SEED-VII)、三个跨文化情绪数据集(SEED-FRA、SEED-GER和SEED-MYA)、三个疲劳驾驶监测数据集(SEED-VIG、SEED-VLA和SEED-VRW)、一个睡眠剥夺下的情绪数据集(SEED-SD)、一个通过脑电信号解码动态视觉感知的数据集(SEED-DV),以及一个嗅觉诱发情绪数据集(SEED-OLF)。目前,SEED系列已吸引全球104个国家的3278所大学申请使用,累计申请量达10678次,支撑了3208篇学术论文的发表。SEED系列已成为全球数据规模最大、模态最丰富、诱发维度最广的情绪脑电数据集,是国际上两个最常用的标准情绪脑电数据集之一。
SEED数据集网址:https://bcmi.sjtu.edu.cn/home/seed/
作者简介:

张健铭,于2020年在吉林大学软件学院获得软件工程学士学位。目前是上海交通大学计算机学院计算机科学与技术专业博士研究生,导师为吕宝粮教授,研究方向包括情感计算、脑机接口及机器学习。

姜卫邦,于2021年在上海交通大学ACM班获得计算机科学与技术学士学位。目前是上海交通大学计算机学院计算机科学与技术专业直博研究生,导师为吕宝粮教授,研究方向包括情感计算、脑机接口及机器学习。

郑伟龙,上海交通大学计算机学院长聘教轨副教授,博士生导师。入选国家级高层次海外青年人才和上海市海外高层次青年人才。他于2018年在上海交通大学计算机科学与工程系获博士学位,之后在哈佛大学医学院麻省总医院和麻省理工学院从事博士后研究,长期从事脑认知与智能、情感计算、脑机交互、类脑计算理论与模型等方面研究。在国际高水平会议和期刊发表研究论文110余篇,多篇论文入选ESI高被引论文。荣获IEEE Transactions on Autonomous Mental Development最佳论文奖、IEEE Transactions on Affective Computing最佳论文奖、ACM Multimedia Top Paper Award、中国人工智能学会优秀博士学位论文奖以及吴文俊人工智能自然科学一等奖,入选上海市浦江人才项目、小米青年学者、微软亚洲研究院铸星计划、2023和2024全球前2%科学家年度影响力榜单。目前担任IEEE Transactions on Affective Computing编委。个人主页:https://weilongzheng.github.io/

吕宝粮,上海交通大学计算机学院二级教授、博士生导师、IEEE Fellow。1994年获日本京都大学工学博士学位,现任上海交通大学智能人机交互与认知工程上海高校重点实验室主任、上海交通大学计算机学院仿脑计算与机器智能研究中心主任、上海交通大学医学院附属瑞金医院脑机接口与神经调控共同主任和上海零唯一思科技有限公司首席科学家,担任Journal of Neural Engineering、《模式识别与人工智能》和《智能科学与技术学报》编委。荣获2018 IEEE Trans. Autonomous Mental Development最佳论文奖、2020年度吴文俊人工智能自然科学一等奖、2021 IEEE Trans. Affective Computing最佳论文奖、2022亚太神经网络学会杰出成就奖和2025年度中国脑-机接口“华瑙奖”卓越学者奖,入选2020-2025全球前2%顶尖科学家榜单和2020-2025爱思唯尔中国高被引学者榜单(计算机科学与技术)。主要研究领域包括类脑计算理论与模型、深度学习、脑电大模型、情感智能、情感脑机接口及其在情感障碍疾病客观评估中的应用。