探索发现 · 交大智慧

上海交大毕磊课题组两篇论文被医学影像领域顶会MICCAI 2023录用

国际医学图像计算与计算机辅助介入大会(International Conference on Medical Image Computing and Computer Assisted Intervention, MICCAI)是医学图像计算(MIC)和计算机辅助介入(CAI)两个领域的综合性国际顶级学术会议。今年,MICCAI 2023将会在加拿大温哥华举行,并于近日公布了会议的论文录用结果。

上海交通大学转化医学研究院毕磊团队的两篇论文被MICCAI 2023接收录用,其中一篇为提前录用(前14%)。两篇论文的第一作者是由悉尼大学和上海交通大学联合培养的2021级博士生蒙明远,指导老师为上海交通大学转化医学研究院毕磊副教授和悉尼大学计算机学院Jinman Kim教授和冯大淦院士。

在基于医学图像的癌症生存预测方向,毕磊团队发表了论文《用于头颈癌症生存预测的“融合-分散”混合变换网络》(Merging-Diverging Hybrid Transformer Networks for Survival Prediction in Head and Neck Cancer)。该论文在MICCAI 2023的审稿中得分位列前14%并在第一轮审稿中被会议提前录用。现存的生存预测方法在利用多模态医学图像信息(例如,PET-CT)和提取病灶区域特定的预后信息(例如,肿瘤原发灶和转移淋巴结)方面存在局限性。针对该局限性,该论文提出了一种“融合-分散”学习框架,并在该框架中进一步提出了混合并行交叉注意力模块(Hybrid Parallel Cross-Attention block,HPCA)和区域特定注意门模块(Region-specific Attention Gate block,RAG)。所提出的框架可以有效地提取多模态医学图像中的互补信息并从中进一步提取出与特定病灶区域相关的预后信息。基于该框架,论文实现了一个可以端到端地从PET-CT图像进行生存预测的X型网络(XSurv)。与现有的生存预测方法相比,XSurv可以更好地结合PET-CT图像所提供的解刨学信息和代谢学信息并精确地提取出与肿瘤原发灶和转移淋巴结相关的预后信息,减少由无关的图像背景所带来的干扰,从而达到更佳的生存预测性能。在头颈癌生存预测竞赛公共数据集(HECKTOR 2022)上的实验结果表明,该论文提出的方法达到了目前领先的生存预测性能,并超越了HECKTOR 2022竞赛中的获胜方法。

图片1.png.jpg

图1:基于PET-CT图像进行头颈癌症生存预测的“融合-分散”混合变换网络架构

在医学图像配准方向,毕磊团队发表了论文《用于联合仿射和可变形图像配准的非迭代从粗到精的变换网络》(Non-iterative Coarse-to-fine Transformer Networks for Joint Affine and Deformable Image Registration)。非迭代的从粗到精的配准方法最近被提出,用以在单个深度神经网络中以一种非迭代的方式进行从粗到精的图像配准,达到了目前领先的配准性能。然而,目前的从粗到精的配准方法主要聚焦于可变形配准,而仿射配准作为一个常见的先需步骤却仍然依赖于传统的迭代配准方法或者需要额外级联一个仿射配准网络,这不可避免地占用了额外的运算时间和资源。此外,目前的从粗到精的配准方法是基于卷积神经网络(CNN),因此受限于卷积运算的内在局部性。针对上述提到的局限性,该论文提出了一种基于变换器(Transformer)的从粗到精的配准方法。该方法可以在单个深度神经网络中以一种非迭代的方式联合实现仿射和可变形配准,从而释放了原先被独立的仿射配准步骤所占用的运算资源。此外,变换器模块被用于建模图像特征间的长距空间关联,进而提高了配准的准确性。该论文提出的方法是第一个在单个神经网络中实现联合仿射和可变形配准的方法。在广泛使用的基准评估任务(病人间的脑部MRI图像配准)中,该论文提出的方法与目前最先进的配准方法相比在配准精度和运算速度上都展现出了优越性。

图片3.jpg

图2:实现了联合仿射和可变形医学图像配准的非迭代从粗到精的变换网络架构

两篇论文的第一作者蒙明远于2018年在清华大学取得工学学士学位;于2021年在悉尼大学取得哲学(研究型)硕士学位;2021年10月至今在悉尼大学和上海交通大学攻读博士学位。他的主要研究方向是基于深度学习的医学图像分析,并着重聚焦于癌症生存预测和医学图像配准。其相关研究成果已在NeuroImage,IEEE-JBHI,MICCAI等领域内权威的期刊和会议中发表。

论文信息:

Mingyuan Meng, Lei Bi*, Michael Fulham, Dagan Feng and Jinman Kim, "Merging-Diverging Hybrid Transformer Networks for Survival Prediction in Head and Neck Cancer," in International Conference on Medical Image Computing and Computer Assisted Intervention (MICCAI), 2023.

Mingyuan Meng, Lei Bi*, Michael Fulham, Dagan Feng and Jinman Kim, "Non-iterative Coarse-to-fine Transformer Networks for Joint Affine and Deformable Image Registration," in International Conference on Medical Image Computing and Computer Assisted Intervention (MICCAI), 2023.

毕磊课题组
转化医学研究院