探索发现 · 交大智慧
上海交大计算机学院盛斌教授发文,从跨学科创新到临床实践:描绘XR赋能脑科学全景路线图
脑健康及相关疾病的诊疗,长期面临一个共同难题:传统量表和床旁检查虽然成熟,但往往发生在相对静态、受控的临床环境中,难以充分反映患者在真实世界中的认知、运动、感觉与行为表现;神经康复训练又常因重复、枯燥而影响依从性;而在神经外科场景中,医生也常常需要在二维影像、显微镜视野与间接导航之间来回切换,增加了对复杂三维解剖结构理解与实时决策的难度。如何让神经病学评估更敏感、更接近真实生活,如何让手术规划与康复训练更直观、更个体化,正成为国际医学与工程交叉创新的重要方向。
2026年3月27日,上海交通大学计算机学院、教育部人工智能重点实验室盛斌教授团队联合哈佛大学医学院、清华大学、中山大学、北京理工大学、中国科学院软件研究所、澳门大学、日内瓦大学、新加坡国立大学、新加坡全国眼科中心等国内外机构合作,在Cell旗下重要学术期刊Cell Reports Medicine发表综述文章 “Extended reality in clinical neurology: From interdisciplinary innovations to clinical practice”。该研究系统梳理了扩展现实(XR)—包括虚拟现实(VR)、增强现实(AR)和混合现实(MR)—在临床神经病学中的技术基础、应用场景、现实挑战与未来方向,勾勒出XR从“跨学科创新”走向“临床实践”的整体路线图。论文指出,XR有望在神经系统疾病的评估、手术和康复中带来新的范式转变。

图1. 2026年3月27日在Cell Reports Medicine期刊上在线发表论文“Extended reality in clinical neurology: From interdisciplinary innovations to clinical practice”。
研究介绍
扩展现实是对虚拟现实(VR)、增强现实(AR)和混合现实(MR)等技术的统称。与传统数字界面不同,XR能够构建更具沉浸感、交互性和空间感知能力的三维环境,使用户在“真实—虚拟”连续谱中获得更自然的人机交互体验。论文指出,近年来XR在临床神经科快速发展,已从单纯的可视化展示逐步演进为兼具测量、决策支持和干预能力的新型医学技术平台。
脑健康往往同时涉及认知、运动、感觉和情绪等多个维度,而传统诊疗方法虽然标准化程度高,却也存在明显局限:很多评估发生在高度控制的临床环境中,未必能反映患者在真实世界中的功能状态;康复训练容易单调重复,影响长期坚持;神经外科则长期面临二维影像难以充分表达复杂三维结构的问题。论文指出,XR的独特价值,就在于它能够通过交互式、三维化、沉浸式的数字环境,把过去难以重现、难以量化、难以直观理解的临床场景重新组织起来。在这一意义上,XR的重要性并不只是“让体验更酷炫”,而是为神经病学提供了一种新的评估逻辑、感知逻辑和干预逻辑:让患者在更接近现实世界的情境中完成认知和行为任务,让医生在更直观的空间框架下理解病灶与解剖关系,让康复训练从机械重复走向反馈丰富、目标明确、参与度更高的过程。XR有望在神经系统疾病的评估、手术和康复中带来新的范式转变。

图2. XR在神经科学临床真实世界应用展望
神经系统疾病常常同时影响认知、运动、感觉与情绪等多个功能维度,而传统评估和干预手段长期面临一些共性瓶颈:标准化量表和床旁测试通常在受控环境中完成,难以充分反映患者在真实生活中的功能状态;康复训练往往重复而枯燥,患者依从性有限;神经外科则长期依赖二维影像切片、显微镜视野与间接导航系统,医生对复杂三维脑结构的空间理解和术中动态判断仍面临挑战。针对这些长期存在的临床痛点,XR通过构建安全、可控而又高度接近现实任务场景的三维环境,为神经科带来了更具生态效度、更可量化、也更富交互性的解决思路。
文章首先从底层技术出发,对XR在神经科应用所依赖的系统架构进行了系统梳理。研究团队提出,支撑临床神经科XR应用的并非单一设备,而是一套由硬件与感知、接口与运行时、渲染与开发、临床应用四大功能模块,以及网络与数据支撑模块共同构成的系统框架。多模态传感器、低时延计算、实时渲染、云端协同和安全稳定的人机交互,共同决定了XR是否能够真正走出实验室、进入临床工作流。这一框架化总结,有助于学界从“设备导向”转向“系统导向”,更清晰地理解XR何以成为神经医学中的临床基础设施。
在临床评估方面,文章指出,XR最重要的优势之一在于能够提升神经功能评估的敏感性、客观性与生态效度。相较于传统问卷或简短量表,XR可以通过空间导航、动作执行、情境反应等更接近日常生活的任务,对轻度认知障碍、帕金森病等疾病中的细微功能异常进行更早期、更动态的识别。论文援引的研究显示,基于沉浸式VR的空间导航/path-integration任务,可在轻度认知障碍阶段识别与阿尔茨海默病相关的导航缺陷,并优于常用量表区分高低风险人群;另有结合眼动追踪和机器学习的VR认知筛查工具,在201名老年受试者中与MoCA量表获得了高度相关性。XR由此展现出成为“数字神经表型”与新型临床生物标志物平台的潜力。
在神经外科领域,XR正从教学辅助工具加速走向术前—术中—术后的全流程支持系统。论文指出,AR/MR可以将肿瘤边界、血管走形及关键解剖结构以三维方式直观叠加于手术视野,帮助术者更好理解复杂空间关系,减少注意力在术野与外部显示器之间频繁切换。与此同时,基于患者特异性三维模型的XR训练环境,也为年轻术者提供了更可重复、更可量化、更低风险的手术技能训练条件。更进一步,随着XR与放射组学、可穿戴生理监测、数字孪生等技术结合,其在个体化术前规划、术中导航和动态决策支持中的价值正不断上升,神经外科有望从“图像辅助”走向“闭环数据驱动”。
在神经康复领域,XR展现出尤其突出的现实应用前景。论文认为,沉浸式、目标导向且反馈丰富的训练环境,有助于调动患者参与积极性,增强训练可持续性,并促进神经可塑性相关过程。无论是卒中后上肢功能恢复、步态和平衡训练,还是帕金森病、多发性硬化、轻度认知障碍以及儿童神经发育障碍的长期康复,XR都可通过任务情境化、训练游戏化、反馈实时化与远程管理闭环化,拓展传统康复的时间和空间边界。研究中提到,XR康复不仅可改善运动功能,也可能对情绪、认知、跌倒预防和长期依从性产生积极影响,并为居家康复和连续管理提供新的技术支撑。
值得注意的是,这篇综述并未停留于“技术乐观主义”的想象,而是对XR临床转化所面临的现实瓶颈进行了冷静分析。论文指出,当前XR在神经科推广仍面临设备舒适性、显示视场、跟踪精度、系统延迟、晕动症、研究异质性、大规模高质量证据不足、成本与资源门槛、隐私安全及法律伦理等多重挑战。换言之,XR距离广泛、规范地进入日常医疗实践,仍需更多跨中心临床验证、标准化任务体系、监管框架与产业化支持。正是这种兼具前瞻性与边界感的判断,使该文不仅是一篇前沿综述,更是一份面向未来临床转化的路线图。
文章进一步提出,XR的下一阶段发展,将深度受益于与人工智能、可穿戴设备、脑机接口、机器人及先进医学影像技术的融合。未来的XR系统,有望根据患者行为、生理和神经信号进行实时分析,动态调整任务难度和训练路径,形成更智能、更个体化的“虚拟教练”与临床支持平台。随着相关技术不断成熟,XR在神经科中的角色也将从“沉浸式展示工具”进一步升级为连接患者、医生、数据与环境的交互入口,推动神经医学由二维、离散、单点式流程,走向三维、连续、闭环式的新范式。XR对脑科学的意义在于推动神经病学从静态、片段化、院内中心的诊疗模式,走向更动态、更个体化、也更贴近真实生活世界的诊疗与管理新范式。随着跨学科创新持续推进,以及更加严格的临床验证不断积累,XR有望成为理解大脑、诊疗神经疾病的重要新工具。
这项工作表明,下一代临床神经科创新,已经不再只是单点算法或单一设备的竞赛,而是医学、人工智能、图形学、感知计算、人机交互与康复科学等多学科深度融合的系统工程。该综述以国际视野系统回答了“XR为何重要?”“XR目前走到哪一步?”“XR还缺什么?”“XR未来将通向何处?”等关键问题,既为相关领域研究者提供了清晰的学术框架,也为临床神经科真实世界应用和产业转化提供了有价值的参考。
作者信息
该文章题为 “Extended reality in clinical neurology: From interdisciplinary innovations to clinical practice”,2026年3月27日发表于Cell Reports Medicine。论文共同第一作者来自上海交通大学及清华大学;上海交通大学计算机学院盛斌教授与上海交通大学医学院附属第六人民医院/主动健康战略与发展研究院李华婷教授为共同通讯作者。此外,来自中山大学、北京理工大学、中国科学院软件研究所、澳门大学、日内瓦大学、新加坡国立大学、新加坡全国眼科中心及哈佛大学医学院等多家机构的交叉学科专家力量参与共同撰写,体现了医工融合与国际合作推动临床数字医学创新的鲜明特色。文章得到国家自然科学基金、国家重点研发计划、卫健委科技创新2030-国家科技重大专项及深圳医学研究专项资金等支持。
论文链接:https://www.cell.com/cell-reports-medicine/fulltext/S2666-3791(26)00113-8