探索发现 · 交大智慧

上海交大郭旭涵、苏翼凯、王开志及合作团队发表相干光张量处理的最新进展

光学计算是以光的各个自由度作为信息载体,通过光场调控完成计算的一种新型计算范式。其衍生出的各类计算方法具有高并行度、大带宽和低功耗等优势,已在光学神经网络、光信号处理等领域得到了广泛应用。随着对光学计算并行度和功能性要求的进一步提升,探索高阶、通用、易部署的光学计算方法成为近期的研究热点。

上海交通大学集成电路学院(信息与电子工程学院)郭旭涵教授、苏翼凯教授课题组,王开志研究员课题组和芬兰阿尔托大学孙志培教授课题组合作,首次在相干光的单次传播过程中实现了并行的矩阵-矩阵乘法计算。该研究结合信号处理原理与光的传播理论,充分挖掘了单波长光的计算潜力,在自由空间光平台上实现了与数字系统高度一致的光学矩阵-矩阵乘法功能,并在多个光学神经网络任务中进行了应用测试。此外,除了单波长实验外,还实现了该方法的多波长扩展,进一步探索了基于单次光传播的张量-矩阵乘法的可行性。相关成果以“Direct tensor processing with coherent light”(利用相干光进行直接张量处理)为题发表于《Nature Photonics》。

1.png

研究背景

由神经网络驱动的人工智能技术正在迅速重塑现代生活的方方面面。然而,这些网络的训练和推理过程对数字处理器提出了巨大的算力需求。神经网络任务中最主要的操作是张量处理,通常通过图形处理单元(GPU)的张量核心实现的矩阵运算完成。然而,随着计算规模的不断扩大,给数字平台带来了巨大的挑战,包括不断增长的内存与带宽需求、难以负担的功耗以及数字计算固有的串行限制。相比之下,光学计算凭借其高带宽、高并行性和低能耗的天然特性,在加速神经网络训练和推理方面展现出广阔前景。目前,各类光学计算方法已经通过对光的幅度、相位和波长等自由度的调控,在平面波导或自由空间的光传播过程中实现了并行的点积、向量-矩阵乘法、衍射计算和傅里叶变换等一系列计算功能,为各种光学神经网络和光学信号处理任务的实现奠定了基础。

研究成果

2.png

图1.POMMM的基本原理和实验设计:(a) 基本原理,(b) 实验系统设计

研究团队基于自由空间光的幅度和相位调控,提出了一种通过相干光的单次传播实现并行矩阵-矩阵乘法的光计算方法(POMMM),而无需额外的波长、空间、时间复用和预处理。如图1所示,该方法将输入矩阵A直接编码到光场的空间幅度,并巧妙结合空间域和空间频域之间的相位-位置对偶关系,利用不同梯度的线性相位标记输入矩阵的每一行向量,通过光学傅里叶变换和成像技术相结合,将标记后矩阵A所有行的光场在空间中混合,其所有行向量和矩阵B的所有列向量并行完成点积,并在线性相位编码的作用下自然地指向输出矩阵的特定元素位置。只需单次光传播,即可实现一次完全并行的矩阵-矩阵乘法操作。

3.png

图2.POMMM的演示和性能评估:(a) 实验结果与数字计算结果对比,(b) 实验原始光场与仿真光场对比,(c) 大样本下的实验误差评估

不同规模的计算结果(图2a)和实验的原始光场分布(图2b)表明,该方法的理论仿真和实验测试的结果高度一致,并与基于数字平台的矩阵-矩阵乘法一致性良好;在大样本下实测结果也证明了该方法的可靠性(图2c)。

4.png

图3.POMMM在神经网络任务中的应用:(a) 基于POMMM构建的不同光学神经网络架构,(b) 张量处理任务的光上直接部署测试,(c) 全流程线性处理任务的光上直接部署测试

得益于与数字计算结果的一致性,POMMM可以作为一种通用的光学神经网络基础计算单元,用于多通道卷积、多头自注意力机制、多样本全连接等各类张量处理任务(图3a),并支持GPU训练权重的直接部署,理论上无需额外的物理场仿真或光上在线训练。研究团队基于不同神经网络架构和任务进行了张量处理过程的直接光上部署测试实验,获得了与GPU和仿真结果高度一致的推理精度(图3b)。研究团队还基于仿真POMMM测试了全部线性计算流程的直接部署,原理上证明了POMMM可以适配且并行计算神经网络中的各类线性变换任务(图3c)。

5.png

图4.POMMM的多波长扩展前景及性能分析:(a) 多波长扩展原理,(b) 并行张量-矩阵乘法的双波长实验验证,(c) 理论算力和规模对比,(d)与实际器件结合的性能估计

另外,研究团队借鉴多波长复用技术和光栅光谱仪的原理,在POMMM的基础上进行多波长扩展,提出了基于单次光传播的并行张量-矩阵乘法(多矩阵-矩阵乘法)计算功能(图4a)。该功能同样无需额外处理,通过波分复用编码待处理张量,不同波长的计算结果可以自然在空间中分离,指向对应的元素位置并被直接获取。研究团队在复数矩阵乘法任务中进行了实验验证(图4b),展示了多波长拓展后的POMMM具备并行批量计算的潜力。该方法具有高达~N3的单波长计算并行度和~N4的多波长计算并行度,并在实验中扩展到 [100, 100] 的矩阵规模,这在与其它光计算方法的理论性能对比中展示出显著优势(图4c)。同时,该方法除去待计算数据的输入和输出,无需任何有源调控,可以部署在各类先进光电系统中,并带来巨大的性能提升(图4d),证明了本研究的前景和可扩展性。

论文信息

上海交通大学集成电路学院(信息与电子工程学院)博士毕业生张钰锋(现芬兰阿尔托大学博士后)、中国科学院长春光学精密机械与物理研究所博士生刘晓冰为共同第一作者。通讯作者为上海交通大学集成电路学院(信息与电子工程学院)郭旭涵教授、苏翼凯教授、王开志研究员和芬兰阿尔托大学孙志培教授。该工作得到上海交通大学闫浩副教授和中国科学院长春光学精密机械与物理研究所付天骄副研究员的指导支持。上海交通大学杨晨光博士和向金龙博士后也为本工作做出了重要贡献。同时,该工作得到了国家重点研发计划、国家自然科学基金等项目支持,以及得到光子传输与通信全国重点实验室、中国科学院上海光学精密机械与物理研究所和义乌致远电子研究中心的实验测试支持。

01_1.jpg

从左至右:郭旭涵、苏翼凯、王开志

论文通讯作者郭旭涵教授主要研究光电子集成芯片,入选国家级高层次青年人才,获得中国光学工程学会三年“硅基光电子优秀成果”奖(2024)。近五年以一作/通讯作者发表高水平论文30余篇,包括 Nature Photonics,Nature Communications,eLight, Light: Science & Applications, Laser & Photonics Reviews, Optica等。邀请报告25余次,包括光学顶会OFC, IPC, APC等。主持国家重点研发计划课题1项,国家自然科学基金面上和青年2项等。担任国际知名期刊APL Photonics编委,IEEE Journal of Quantum Electronics编委,光学知名会议OECC TPC共主席, ACP Workshop共主席等。

苏翼凯教授领导的光传输与集成光子学实验室(OTIP)立足光电子研究领域的前沿,主要研究高速光通信系统与各类集成器件,重点研发应用于传输及交换领域的硅基及异质集成光电子芯片。

论文链接https://www.nature.com/articles/s41566-025-01799-7

集成电路学院(信息与电子工程学院)
集成电路学院(信息与电子工程学院)