近半年，上海交通大学生物医学工程学院钱晓华课题组（Medical Image and Health Informatics Lab）与上海交通大学医学院附属瑞金医院功能神经外科合作，分别在医学图像分析顶刊Medical Image Analysis（MedIA，IF 13.828，中科院1区，2022-07-28）、多媒体技术顶刊IEEE Transactions on Circuits and Systems for Video Technology（TCSVT，IF 5.859，中科院1区，2022-08-01、2022-03-31）上连续发表了三篇帕金森病运动视频智能评估的研究文章。围绕着“视频中人的位置是否变化、动作是否重复”，系统性地提出了时空细粒度特征挖掘技术，解决了医学视频动作细粒度分析的关键挑战；基于此，分别构建了基于视频（消费级摄像头，如手机等）对帕金森病综合评价量表中的握拳试验、站立平衡试验和脚趾拍地运动进行客观评估的智能模型。基于该研究，课题组学生团队（郭睿、彭京航、解政和权裕阳）获得了中国大学生服务外包创新创业大赛全国二等奖（2022-08-07）。

一、研究背景：

帕金森病被称为“不死的癌症”，面临医生数量少、诊断不客观、随访难持续的现实难题。帕金森病综合评价量表（MDS-UPDRS）是临床诊断与评估帕金森病的主要方案；因此基于该量表的视频智能评估是提升临床诊断效率，实现远程诊断和家庭化管理的核心技术。其中，关键技术挑战是视频时空细粒度特征分析（即评估的5类），这也是计算机视觉领域的技术难点。

二、主要内容：

1. 握拳试验视频的智能评估模型

握拳试验是评估上肢运动迟缓的重要组件之一，患者需要充分打开手掌并快速地反复伸掌握拳十余次。为此，提出了一种树结构引导的图卷积神经网络模型，解决了握拳试验评估中面临的细粒度特征挖掘困难和模型稳定性不足的挑战。其中，主要技术贡献是将手部骨架构建为树结构，通过图卷积和树池化来促进细粒度信息的传输与融合；还设计了对比学习框架来排除真实拍摄条件下混杂因素的干扰，实现稳定的特征学习。最终，该模型在握拳试验评估中实现了73.71%的准确率和99.20%的可接受准确率，在独立测试中获得了71.88%的准确率。

图1 所提出的握拳试验智能评估模型架构图

论文：Rui Guo, Hao Li, Chencheng Zhang, Xiaohua Qian*. A Tree-Structure-Guided Graph Convolutional Network with Contrastive Learning for the Assessment of Parkinsonian Hand Movements. Medical Image Analysis, v.81, 2022.

论文链接：https://www.sciencedirect.com/science/article/pii/S1361841522002055

2. 脚趾拍地运动的智能评估模型

脚趾拍地运动是评估下肢运动迟缓的重要组件，患者需要以最大的幅度和最快的速度用脚趾拍地十余次。为此，提出了一种时空交互图卷积模型，解决了脚趾拍地运动评估中面临的细粒度判别性运动特征挖掘困难的挑战。其中，主要技术贡献是设计了监督对比和多流联合稀疏学习来增强特征学习过程中的类特征特异性和运动特征判别性；还开发了时空交互图卷积模块来直接构建关节点之间的远程时空依赖关系。最终，该模型在脚趾拍地运动评估中实现了70.04%的准确率和98.70%的可接受准确率。

图2 所提出的脚趾拍地运动智能评估模型架构图

论文：Rui Guo, Jie Sun, Chencheng Zhang, Xiaohua Qian*. A Contrastive Graph Convolutional Network for Toe-Tapping Assessment in Parkinson’s Disease. IEEE Transactions on Circuits and Systems for Video Technology, 2022-08-01 (online).

论文链接：https://ieeexplore.ieee.org/document/9847262

3. 站立平衡试验视频的智能评估模型

       站立平衡试验是帕金森病综合评价量表的重要组成部分，患者需要将双臂交叉放在胸前然后站起来。为此，提出了一种结合图卷积神经网络的自监督度量学习框架，解决了站立平衡试验评估中面临的细粒度特征提取困难的挑战。其中，主要技术贡献是构建了四元组的度量学习框架，结合动作的空间和时间先验知识来提升细粒度时空特征的表示能力；还在空间图卷积中为不同顶点和属性构建了自适应权重，提升了空间图卷积在分类任务中的有效性。最终，该模型在站立平衡试验评估中实现了70.60%的准确率和98.65%的可接受准确率，在独立测试中获得了69.44%的准确率。

论文：Rui Guo#, Jie Sun#, Chencheng Zhang, Xiaohua Qian*. A Self-Supervised Metric Learning Framework for the Arising-from-Chair Assessment of Parkinsonians with Graph Convolutional Networks. IEEE Transactions on Circuits and Systems for Video Technology, 2022-03-31 (online).

论文链接：https://ieeexplore.ieee.org/abstract/document/9745580

三、课题组在帕金森病运动视频智能评估领域的开拓性进展：

钱晓华课题组长期致力于研究基于临床视频数据的帕金森病运动功能自动评估课题，近三年来已在该主题发表七篇论文，包括期刊Medical Image Analysis（握拳试验，2022-07-28）、IEEE Transactions on Multimedia（步态，2021-03-24）、IEEE Transactions on Circuits and Systems for Video Technology（站立平衡试验，2022-03-31；脚趾拍地运动，2022-08-01）、IEEE Transactions on Neural Systems & Rehabilitation Engineering（腿部灵活性，2020-11-19）、Neurocomputing（对指试验，2021-06-21）、Parkinsonism & related disorders（僵直、姿势的稳定性，2021-11-19），并已经授权发明专利两项和公开发明专利四项。在国际帕金森病运动视频智能评估领域，钱晓华课题组首次开拓性地引入时空图网络来实现量表评分，系统性地提出了时空细粒度特征挖掘技术，引领了该领域的技术发展，性能领先国内外同类工作，甚至优于基于传感器的评估系统。 

课题组简介：

钱晓华，上海交通大学生物医学工程学院副教授、博士生导师。主要研究兴趣是医学图像处理和计算机视觉；主要学术贡献是首次系统性地提出了医学图像的小样本细粒度分析技术，形成了时空细粒度特征挖掘技术体系和一种“内挖潜力和外借信息”驱动下的图像信息多样化挖掘技术体系，并成功应用于帕金森症智能评估和胰腺癌术前智能评估。