2024年5月25日下午，上海交通大学第十七期“科技论剑”交叉论坛在闵行校区新行政楼B楼418会议室举行。论坛以“深度学习的前沿基础”为主题，由科学技术发展研究院指导，上海交通大学自然科学研究院主办，上海交通大学数学科学学院、电子信息与电气工程学院及上海国家应用数学中心（上海交通大学分中心）协办。

论坛邀请到中国科学院院士鄂维南作主题演讲，上海交通大学科学技术发展研究院院长曾小勤，科研院学术发展与成果处副处长韩海波，自然科学研究院副院长张小群，致远学院副院长周栋焯，上海人工智能实验室主任助理王延峰等出席了本次会议。论坛开幕式由上海交通大学自然科学研究院/数学科学学院长聘教轨副教授张耀宇主持。本次论坛吸引了260余位来自学术界、工业界及各学科领域的专家学者及学校师生齐聚一堂，共同探讨和分享深度学习领域的重要现象、挑战和未来发展方向。

曾小勤对到场的嘉宾、专家学者以及师生们表示了热烈欢迎，并回顾了“科技论剑”交叉论坛自2020年设立以来的发展历程。他提及，人工智能作为当代科技的前沿话题，正在重塑我们的世界，而深度学习作为其核心驱动力之一，已在多个技术领域取得显著成果并展现出巨大的应用潜力。同时，他指出了深度学习面临的挑战，如算法的可解释性、数据隐私保护及模型的泛化能力，并呼吁与会者共同寻求解决方案。

鄂维南发表了主题演讲，深入探讨了“深度学习仍需解决的问题”。他指出，深度学习在近年来取得了巨大成功，相对十几年前，我们对深度学习的理解已经取得了很大的进步，有了很大的成就。一方面，我们需要了解当前已经取得的成就，另一方面，我们也要认识到还有很多挑战亟待攻克，如函数空间的刻画、网络训练的稳定性、频率学习规律、初始化和超参数的影响、概率分布的学习等。同时，随着大模型和人工智能的发展，如何实现模型的泛化和理解复杂系统的scaling law、涌现现象等，也成为了新的研究方向。未来深度学习的基础研究需要立足扎实的实验和理论，从高维数据和复杂系统的角度出发，加强理论和算法创新的结合。鄂院士在计算数学、应用数学、机器学习、AI for Science以及其他多个领域的研究方面经验丰富，并曾获得多项国际大奖，现为Journal of Machine Learning的主编。

在主题演讲之后，论坛以“深度学习仍需解决的问题及发展方向”为主题展开圆桌论坛。鄂维南、曾小勤、张小群和三位报告人，以及现场与会人员进行了轻松而热烈的讨论。论坛围绕的话题丰富，包括要继续探索人工智能基础，尤其鼓励以获得理解为目标开展仔细设计的数值实验研究；以探索新一代人工智能框架为当下工作的重点，科研人员应该以解决问题为核心目标，挑起探索新一代人工智能框架的重任。同时，论坛探讨了如何培养人工智能相关专业的博士生，鼓励大家下定决心利用AI解决真问题。论坛还探讨了AI可解释性、消融实验设计、多步推理等技术问题。讨论了应用数学如何服务于其他学科，在装备了AI的条件下更好地发挥基础支撑作用，强调研究人员应该投入更多精力解决实际问题，并呼吁加强人工智能与材料、化学、生物等学科的交叉融合，发挥交大工程与基础研究的优势。自然科学研究院正是可以将学科交叉做得很好的科研平台。对于基础前沿和交叉领域的研究和人才，相关部门和高校应该敢于支持，广泛支持，稳定支持。

在学术报告环节，许志钦副教授首先分享了“记忆还是推理？研究Transformer的学习机制”的研究成果。当参数初始化较小时，模型会倾向于用推理来拟合数据，这与模型在训练过程中发生凝聚现象有关。接着，John Hopcroft计算机科学中心副教授林洲汉就“从感知到认知：探索更抽象概念的自监督学习方法”进行了学术报告，从大语言模型的现象出发，提出Fourier Transformer，以及介绍了语言信息和图上的自监督学习。最后，张耀宇进行了题为“参数量对泛化能力的影响：从简单问题探究现象和理论”的学术报告，从乐观样本量的角度解释了增加神经网络宽度相比增加连接的泛化优势，提出了在神经网络模型设计中可以任性增加宽度，但须审慎增加连接的原则。

本次论坛吸引了线上线下来自多个领域和不同阶段的研究者，从本科生到教授，从研究生到博士后，以及来自企业和其他研究机构的专家学者。参与者包括了上海交通大学船舶海洋与建筑工程学院、机械与动力工程学院、电子信息与电气工程学院、材料科学与工程学院、数学科学学院、化学化工学院、医学院、设计学院等多个院系的师生，还有来自复旦大学、浙江大学、同济大学、华东师范大学、中国船舶第一716研究所、上海人工智能实验室、UCLA、PSU等高校和研究机构的学者，以及来自包括字节跳动、甲骨文、亚马逊、瑞金医院等在人工智能、生命科学技术、机械与动力工程等不同领域的研究人员和从业人员。

“科技论剑”交叉论坛作为上海交通大学促进学科交叉融合、提升科技创新能力的重要学术交流平台，自2020年设立以来，已成功举办多期，为推动原创性、引领性技术的重大突破做出了显著贡献。本次论坛不仅提供了深度学习领域的最新研究成果，也为未来的科研方向提供了战略指南。