综合新闻
图灵奖得主、强化学习之父Richard S. Sutton教授领衔强化学习高级研讨班在上海交大人工智能学院开幕
7月14日，由上海交通大学人工智能学院、上海创智学院与Openmind Research Institute联合主办的Rich Sutton强化学习高级闭门研讨班顺利举办。本次活动由2024年图灵奖得主、“现代强化学习之父”Richard S. Sutton教授领衔，聚焦Alberta Plan研究议程与联合Poster展示，汇聚领域顶尖学者与青年科研人员，围绕长期智能体架构、通用人工智能核心科学问题开展前沿研讨。上海交通大学人工智能学院执行院长王延峰，上海创智学院副院长乔宇出席活动，活动由人工智能学院副院长张娅、副教授温颖共同主持。
王延峰致开幕辞，他表示本次研讨班以孵化前沿思想为核心定位，汇聚优质科研力量，聚焦未来强化学习关键方向，为通用智能研究明晰发展路径，他强调AI发展应回归第一性原理，认同Sutton教授“智能源于试错探索与主动交互”的核心观点。
乔宇在致辞中向Sutton教授对青年学者的悉心指导表示感谢。他表示，本次研讨班摒弃单向授课模式，以协同共创、深度研讨为主线，鼓励参会学者凝练可行研究方案、搭建长期跨机构合作机制，助力强化学习领域开放协同创新。
重构通用智能底层架构，破解行业研究瓶颈
Sutton教授作主旨报告，系统阐述通用智能体三大核心目标：领域无关的通用性、运行时交互学习、自主抽象概念迭代。他指出，过度依赖人工预置知识会限制智能体自主进化，存在显著技术瓶颈，未来研究应弱化人工干预，聚焦提升智能体学习、搜索、计算等通用底层能力。
报告提出“大世界假设”（Big World Hypothesis）的智能研究理念。Sutton教授认为，真实环境复杂且动态变化，世界的规模、变化和细节远超任何单个智能体的感知与计算能力。智能体不可能完整观察世界的全部状态，也无法为每一种情形都存储绝对正确的价值判断和最优行动，只能利用有限资源形成局部、近似并随经验不断更新的认识。这意味着，AI 不能寄希望于通过一次训练“学完世界”，而需要在运行中持续学习，及时调整旧知识，并把有限的计算和记忆资源用于当前最有价值的问题。
为了在大世界下实现通用智能，他系统拆解感知、策略、价值函数、转移模型等通用智能体核心组件，并介绍了选项—知识架构（Options and Knowledge，OaK）。其中，选项（option）不是一串预先固定的动作，而是一种可以持续执行并在适当状态终止的行为策略。基于OaK框架，智能体从状态特征出发形成子问题，通过解决子问题获得选项，再利用选项执行前后的经验学习高层转移知识。新特征可以产生新的子问题，新子问题又推动新技能和新知识的形成，由此构成一个不断循环、持续扩展的开放式学习过程。最后，他重申Alberta Plan十二步研究框架，提出通用智能发展需突破人类预设偏见，实现完全自主进化。
深度思辨交流，夯实前沿研究基础
主旨报告结束后，温颖主持结构化研讨环节，与会学者围绕内在奖励机制、模型设计平衡、世界模型构建、智能特征筛选等关键议题展开热烈讨论。学者们突破传统奖励函数易陷入局部最优的局限，提出目标导向的优化思路，并就人工预设与动态学习的兼容适配、个体与群体智能融合等问题交换观点。Sutton教授针对现场问题逐一回应，明确好奇心驱动的环境掌控力提升是智能迭代的核心内在奖励，进一步厘清了通用智能的优化路径。
上午形成了三个研究方向作为下午分组讨论的主题：G1持续表征与元学习、持续预测、控制与平均奖励；G2世界模型、规划与搜索控制；G3时间抽象、Options与STOMP、OaK、集成智能体与智能增强、多智能体。各组研究方案拟于7月21日集中汇报，由Sutton教授现场点评指导，进一步聚焦核心问题、明晰研究路径。
本次研讨班是学院深耕人工智能基础研究、对接国际前沿的重要实践。活动依托顶尖学术引领与跨机构协同，为青年学者搭建了高水平交流平台，进一步夯实了学院在强化学习与通用智能领域的科研优势，为学科建设与人才培养提供了有力支撑。