综合新闻

挑战赛冠军+研讨会最佳论文奖!集成电路学院(信息与电子工程学院)图像所团队闪耀ACM MM 2026

11月10日至14日,第34届ACM国际多媒体顶级会议(ACM Multimedia 2026,简称 ACM MM 2026)在巴西里约热内卢举行。上海交通大学集成电路学院(信息与电子工程学院)图像通信与网络工程研究所团队在EgoLink Challenge(Egocentric Language-Vision Interactive Network Knowledge Challenge)挑战赛中斩获冠军(First Place);图像所团队论文“DeformableGrasp: Efficient Dexterous Grasping of Deformable Objects via Reinforcement Learning”获本届会议第二届多感官媒体与应用国际研讨会(Mulsemedia 2026)最佳论文奖(Best Paper Award)。

EgoLink挑战赛冠军

Ego Link挑战赛面向真实第一人称场景中的具身智能,设置社会推理与交互式任务执行两个赛道。赛道二“交互式智能体挑战:社会生活场景中的多模态交互任务执行”要求智能体结合第一人称视觉信息、用户自然语言指令及外部工具,通过多轮对话、自主规划和工具调用完成生活任务,综合考察视觉理解、逻辑推理与行动决策能力。该赛道采用交互式评测环境,覆盖零售、厨房、餐厅和点单等场景。智能体需要在与模拟用户的交流中理解需求,并调用工具查询信息或执行操作。评测同时检查工具调用过程和最终数据库状态:只有工具及参数正确、执行结果也符合目标要求,任务才被判定为成功。这一机制对智能体完成复杂任务的准确性与可靠性提出了较高要求。

1.png

在本次比赛中,由学院学生代普南、吴彦熹、储灵馨、徐鋆组成的MediaLab 团队(指导教师:宋利、程正雪)取得了84.4%的联合成功率,较第二名高出2.1个百分点;微平均准确率、基于结果的成功率和基于工具的成功率分别达到91.6%、87.5%和85.4%。团队获得比赛第一名,展现了在多模态交互任务执行方面的技术实力。

Mulsemedia 2026最佳论文奖

2.png

图像所团队面向柔性物体灵巧抓取的研究论文“DeformableGrasp: Efficient Dexterous Grasping of Deformable Objects via Reinforcement Learning”(论文作者:王柯喻、卢冰聪、程正雪、张恒第、宋利)获多感官媒体与应用国际研讨会最佳论文奖。

3.png

DeformableGrasp :基于非对称的强化学习的灵巧抓取框架,利用触觉和本体感受反馈来稳定地抓取可变形物体

柔性物体在接触过程中会发生形变,抓取力过小容易滑落,过大则可能损伤物体,对机器人的感知与控制能力提出了较高要求。针对这一问题,论文提出融合触觉与本体感觉反馈的强化学习框架,并采用非对称训练结构,利用仿真环境中可获得的物体运动、距离和形变等特权信息辅助策略学习。通过多样化物体资产与三类常用抓取姿势的混合训练,该方法能够适应不同形状与材质的物体;在抓取执行阶段,控制策略仅依靠触觉信息与本体反馈即可完成,无需视觉信息。实验中,该方法在真实柔性物体上的提举成功率达到93.1%,抗扰动成功率达到90.0%,在单张RTX 4090上的单次模型推理耗时约为44毫秒。研究为机器人在复杂接触条件下稳定抓取柔性物体提供了新的方法,也为进一步拓展触觉驱动的物体操作任务奠定了基础。

ACM MM 2026

4.png

ACM国际多媒体会议(ACM International Conference on Multimedia,简称ACM MM)是由国际计算机协会(ACM)主办的多媒体领域顶级学术会议。该会议是中国计算机学会(CCF)推荐的A类国际学术会议。ACM MM 聚焦图像、视频、音频、语言等多模态信息的分析、理解与交互,为学术界和产业界交流前沿研究成果提供平台。本届会议官网目前列有25项 Grand Challenges,涵盖多模态理解、视频生成、情感计算、智能交互等研究方向。

集成电路学院(信息与电子工程学院)
集成电路学院(信息与电子工程学院)
胡津其