【项目名称】

多模态深度学习与大语言模型在糖尿病视网膜病变诊疗中的创新应用 

【项目负责人】

贾伟平

【项目完成人】

贾伟平 盛斌 李华婷 黄天荫 管洲榆 李佳佳 戴领 刘丹 于淑洁 

【项目完成单位】

上海交通大学医学院附属第六人民医院  上海交通大学计算机学院  清华大学 

【项目简介】

糖尿病视网膜病变（diabetic retinopathy，DR）是糖尿病最常见的微血管并发症，也是全球可预防失明的主要原因。由于DR早期症状隐匿、个体进展差异大，传统基于固定随访间隔的筛查模式难以及时、精准地识别高风险人群。现有深度学习模型虽已广泛用于DR筛查，但受限于真实临床中筛查时间点不连续、发病时间不可观测，难以实现疾病进展时间的精准预测。

针对这一全球性关键难题，研究团队基于覆盖多国多种族、超过20万名糖尿病患者的大规模纵向眼底影像和临床数据，创新性提出了面向疾病进展与时间预测的人工智能分析框架，实现了对糖尿病视网膜病变发生风险和进展时间的精准预测。该研究首次将糖尿病视网膜病变的发生与进展视为筛查区间内的随机事件，引入生存分析与概率分布建模思想，使人工智能不仅能“看见”病变，还能“预测”病变何时发生。

基于这一核心方法学创新，研究团队进一步研发了DeepDR Plus系统。仅依靠一次基线眼底检查，即可评估患者未来5年内发生DR的个体化风险和时间窗口，并据此智能推荐差异化随访间隔和管理策略。在中国和印度的真实临床应用中，该系统在显著降低筛查频率和公共卫生支出的同时，仍保持极低漏诊率，充分验证了其在不同人群和医疗环境下的安全性、稳定性与实际应用价值。 

在此基础上，研究团队进一步将人工智能技术从“影像预测”拓展至“综合诊疗决策”，推出了全球首个面向糖尿病诊疗的视觉—大语言模型多模态智能系统DeepDR-LLM,实现医学影像诊断与个性化诊疗建议的协同生成。该系统已在亚、非、欧多国多中心队列以及中国基层医疗场景中完成验证，为基层医生提供智能辅助决策支持。

相关成果为糖尿病视网膜病变筛查和糖尿病一体化管理提供了可复制、可推广的数字化解决方案，为我国在糖尿病智能防控和数字医疗领域形成自主可控、可推广的技术体系奠定了坚实基础,也为“一带一路”及全球中低收入国家提升糖尿病防治水平提供了新的路径。