近日，上海交通大学集成电路学院（信息与电子工程学院）翟广涛教授课题组通过功能磁共振成像（fMRI）技术，首次揭示了人脑视觉质量感知脑机理，以及在处理低质量图像时的神经补偿机制。研究发现，低层级视觉区域对图像质量敏感，而高层级区域则能“脑补”缺失信息，保持语义理解。该成果不仅深化了对人类视觉系统的理解，还为开发更鲁棒的图像质量评估算法提供了生物学启发。该成果以“Neural Mechanisms of Visual Quality Perception and Adaptability in the Visual Pathway”（视觉质量感知的神经机制及视觉通路的适应性）为题发表于Cell子刊《Patterns》。

研究背景

我们每天都在“看”图：刷手机、看视频、浏览AI生成内容。那大脑是如何判断一张图“好不好看”、“清不清楚”、“真不真实”的？在视频流媒体、社交媒体和人工智能生成内容日益普及的今天，视觉质量评估已成为优化用户体验的关键技术。然而，现有的质量评估模型大多依赖大量标注数据，缺乏对人脑感知机制的深入理解。尤其是在处理低质量、模糊或噪声图像时，人脑仍能识别内容，而现有AI模型则表现欠佳。以上问题都说明，视觉质量评估领域亟需脑科学领域的理论支撑。

研究内容

上海交通大学翟广涛团队联合仁济医院，利用fMRI技术，基于无参考实验范式，让参与者观看不同质量（高、中、低）和不同内容（人脸、物体、场景）的图像，并执行质量评估或内容分类任务。针对采集的fMRI信息，研究团队采用了单变量统计分析识别对图像质量敏感的大脑区域；采用功能连接分析探索脑区之间的协同机制；采用表征相似性分析量化语义信息在不同脑区的编码强度；搭建脑区间响应模式预测模型，以揭示视觉通路中的信息传递机制。最后，鉴于卷积神经网络（CNN）与大脑视觉区的相似性已经得到证明，团队将脑科学结论在多种卷积神经网络架构上进行验证。

1. 低级视觉区域对质量敏感，高级区域保持稳定

初级视觉区域（如舌回、楔叶）的语义信息随图像质量下降而显著减少（最低仅占高质量时的35.2%），而高层级区域（如梭状回、枕中回）的语义信息几乎不受影响。

2. 视觉质量信息并非由单一脑区编码，而是源于脑区间的信息差异

研究发现，没有哪个脑区单独编码“图像质量”，而是通过低层级与高层级区域之间的信息差异“涌现”出质量感知。

3.视觉通路存在补偿机制，应对低质量输入

当图像质量较差时，上枕回等区域会增强与高级认知区域（如额下回）的功能连接，协同“补全”缺失信息，确保语义理解不受影响。

4.基于fMRI的解码与AI模型验证

团队成功从fMRI信号中解码出图像质量信息，并受此启发提出了一种多层特征融合策略，在ResNet等经典网络上显著提升了图像质量评估性能，在BID数据集上性能提升达14.29%。

未来的研究将进一步探索不同类型的图像失真对大脑反应的影响，尤其是在处理模糊、噪声和压缩等常见视觉失真时的大脑适应机制。此外，随着数据集规模的扩大和不同视觉质量类别的划分，本研究为开发更加精准和健壮的视觉质量评估算法提供了重要的理论依据，也为构建更具适应性的AI视觉模型，使其能像人脑一样“智能补全”低质量图像提供了新的思路。

论文信息

上海交通大学集成电路学院（信息与电子工程学院）博士生张艺铭和助理教授陈一彤为共同第一作者，上海交通大学集成电路学院（信息与电子工程学院）闵雄阔副教授和翟广涛教授为通讯作者。研究工作得到国家自然科学基金，国家重点研发计划项目等支持，得到上海交通大学附属仁济医院的fMRI信息采集支持。

论文共同一作陈一彤助理教授在Nature，Science，Nature Photonics，Nature Electronics, Science Advances等国际顶尖期刊和会议发表多篇研究论文。国际首次实现复杂视觉智能任务中，实测光电智能计算芯片端到端速度较国际顶尖芯片提升三千六百倍，能效提升百万倍，相关成果被新华社、人民日报、光明日报、科技日报等报道。相关研究入选国家自然科学基金委优秀资助成果等。

论文通讯作者闵雄阔副教授主要研究多媒体信号处理，主持国家自然科学基金青年B类、面上等项目，入选博新、浦江计划，获吴文俊人工智能青年科技奖、电子学会优博等国内奖励，及IEEE TBC最佳论文、IEEE TMM最佳论文提名等国际论文奖，获CVPR、ECCV等国际挑战赛冠军，在IEEE/ACM汇刊与CCF A类期刊/会议上发表论文100余篇，谷歌学术引用1万余次，担任ACM TOMM等期刊编委。

论文第一通讯作者翟广涛教授为上海交通大学特聘教授，上海人工智能实验室双聘科学家，IEEE Fellow，国家级高层次人才，多年从事多媒体智能相关研究，入选Clarivate全球高被引学者，获IEEE多媒体汇刊和IEEE广播技术汇刊最佳论文奖等国际奖励30余项。

翟广涛教授课题组聚焦多媒体信号处理、感知质量评价、多模态智能体与数据评测。应用领域涵盖多媒体，人工智能生成，虚拟/增强/扩展现实及元宇宙和智慧医疗等场景。

论文链接：https://www.cell.com/patterns/pdf/S2666-3899(25)00216-8.pdf