近日，上海交通大学心理学院傅小兰教授与刘峰助理研究员联合研究团队与江南大学人工智能与计算机学院钱雪忠副教授团队合作的研究成果“Evaluating and Correcting Human Annotation Bias in Dynamic Micro-Expression Recognition”被情感计算领域顶级期刊 IEEE Transactions on Affective Computing正式录用。

成果速读

本研究成果首次为情感计算领域微表情数据集提供一把质量标尺，用于衡量数据集在制作过程中人工标注偏差。

成果介绍

微表情是人类在试图抑制或隐藏真实情绪时产生的无意识面部反应，具有持续时间极短（1/25~1/5秒）、强度微弱、区域特异等特点，在临床心理学、国家安全、司法鉴证等领域具有重要应用价值。然而，现有微表情数据集的人工标注过程易受标注者主观因素影响，尤其在跨文化场景下，关键帧（Onset/Apex/Offset）标注偏差更为显著，严重制约了模型性能的进一步提升。

图1.计算三个数据集之间的差异后得到的单个样本差异曲线如图所示。具体而言，逐帧计算帧间像素值的 L2 范数以量化运动强度，其峰值作为评估表情强度变化的关键客观指标。数据集中原始的手动标注的峰值帧用红色虚线标记，而从差异计算得出的最大差异值则用虚线框突出显示。

研究动机

当前微表情识别研究面临两大核心挑战：一方面，传统人工标注流程对标注者专业素养要求极高，即使经过系统培训，人工检测准确率仍难以超过50%；另一方面，跨文化数据集中因面部肌肉运动模式、表达习惯的系统性差异，导致标注关键帧与真实动作峰值帧存在显著时序偏移，引入标注噪声干扰模型学习。若能有效校正此类主观标注偏差，将有望从数据层面突破微表情识别的性能瓶颈。

研究贡献

本研究提出全局反单调差分选择策略（Global Anti-Monotonic Differential Selection Strategy, GAMDSS）框架，主要贡献如下：

1.首创标注偏差校正范式。首次系统分析微表情数据集中人工标注主观误差的来源与影响，提出“不直接改进模型结构，而是通过优化标注边界提升系统性能”的新思路，为时间序列标注对齐问题提供通用解决方案；

2.动态帧重选机制。在原始人工标注关键帧邻域内，通过差分计算动态搜索动作变化最显著的三帧（Onset/Apex/Offset），构建完整的“上升-下降”时空动态表征，有效规避人工逐帧比对引入的主观误差；

3.参数高效的双分支时空建模。设计共享参数的双时空单元，分别提取微表情“上升相”与“下降相”的细粒度特征，并通过知识注入式辅助损失函数强化模型对完整动作演化过程的理解；

4.跨文化数据集验证。在CASME II、SAMM、4DME、CAS(ME)³等7个主流微表情数据集上的实验表明，GAMDSS在跨文化数据集（如SAMM、4DME）上性能提升尤为显著，定量分析进一步证实：单文化数据集中Onset+Apex两帧即可捕获主要变化特征，而跨文化数据集需完整三帧建模以校正系统性标注偏差。

图2.GAMDSS框架整体架构。(a) GAMDSS 流程：动态帧重选机制基于不同数据集重新选择动作变化最丰富的三个关键帧；采用双分支共享参数时空单元提取特征；引入辅助损失函数建模微表情完整演化过程。(b) 时空特征提取与融合方法，采用 Swish 激活层增强特征非线性与优化稳定性。

研究创新

本研究实现三大理论与技术突破：

1.标注偏差量化分析。首次建立微表情关键帧标注主观误差的量化评估体系，通过动态调整搜索范围参数λ，系统比较单文化与跨文化数据集的标注质量差异，为数据集标准化建设提供理论依据；

2.即插即用的轻量设计。GAMDSS无需增加模型参数量，仅需数行代码即可集成至现有微表情识别框架，在ResNet、ConvNeXt、Swin Transformer、RMT等多种骨干网络上均取得稳定性能提升；

3.时空动态建模新范式。突破传统仅关注Onset→Apex阶段的局限，首次将Apex→Offset的“下降相”动态信息纳入建模框架，显著提升模型对微表情完整演化过程的理解能力。

刘峰助理研究员为该文第一作者兼通讯作者，傅小兰教授为共同通讯作者，南丙誉、钱雪忠副教授为共同作者，南丙誉是刘峰老师与钱雪忠老师共同指导的硕士研究生。本研究得到国家重点研发计划“主动健康和老龄化科技应对”重点专项（2024YFC3606801）与上海交通大学新进教师启动计划项目基金（25X010506040）的资助。

期刊IEEE Transactions on Affective Computing是中科院一区TOP期刊，Web of Science数据库中期刊引证指标JCI排名第一，IF=9.8，IF(5 years)=10.2，中国人工智能学会（CAAI）推荐的A类国际期刊，也是情感计算方向的国际顶级刊物。

论文Arxiv链接：https://doi.org/10.48550/arXiv.2603.04766

论文IEEE链接： https://ieeexplore.ieee.org/document/11424978

代码链接：https://github.com/Cross-Innovation-Lab/GAMDSS

发表日期：2026年3月9日

作者：刘峰*、南丙誉、钱雪忠、傅小兰*

单位：上海交通大学心理学院*、江南大学人工智能与计算机学院

引用信息：

F. Liu, B. Nan, X. Qian, and X. Fu, “Evaluating and Correcting Human Annotation Bias in Dynamic Micro-Expression Recognition,” IEEE Transactions on Affective Computing, 2026, doi:10.1109/TAFFC.2026.3671731.