美国当地时间5月23日国际机器人领域顶级会议ICRA 2025传来消息，今年大会HRI（Human-Robot Interaction）最佳论文颁发给了上海交通大学人工智能学院和伊利诺伊大学厄巴纳-香槟分校（UIUC）联合团队提出的基于人机协同的智能体辅助数据收集新框架：《Human - Agent Joint Learning for Efficient Robot Manipulation Skill Acquisition》。

研究团队代表在ICRA现场领奖

Human-Agent Joint Learning（HAJL）框架通过创新“人-智能体联合学习”范式，应对机器人操作技能学习中高质量数据获取成本高、效率低的核心难题，与传统方法相比，数据收集成功率提高了30%，收集速度几乎翻倍，同时减少人类操作员的适应需求。

研究背景

当下的AI周期，数据的重要性越来越突出，尤其是在具身智能和机器人学习领域。传统的机器人遥操作数据收集方法，通常依赖复杂的VR设备和相机获取人类操作员的动作信息，利用这些设备进行数据采集对人类操作员的要求非常高。操作员要在数据采集任务期间保持高度的精确度和专注力，以确保数据的准确性。这种高要求带来了几个主要挑战：

·成本高：复杂的VR设备和相机价格昂贵，安装和维护成本较高。

·对人类操作员要求高：数据收集过程通常耗时，操作员需要长时间工作，才能收集足够的数据。由于对精度要求高，操作员稍有不慎就可能产生错误数据，影响训练效果。

·缺乏灵活性和适应性：这些系统往往对特定环境和任务进行了优化，但在面对变化的环境或新任务时，适应性较差。

因此，如何高效、低成本地收集高质量遥操作数据，让人类和机器人高效协同，成为亟待解决的难题。

核心见解：扩散思想重构人机协同范式

·加噪阶段：智能体向人类操作的初始输入中加入一些“噪声”，模拟各种可能的误差和不确定性。这一步骤的目的是使系统意识到可能存在的偏差和误差。

·去噪阶段：智能体利用其计算能力和对环境的理解，从加入噪声的动作中提取有用信息，并进行修正和优化。智能体会逐步减少噪声，使动作更加精确和稳定。

这个过程反复进行，智能体不断地加噪和去噪，逐步优化人类的初始动作，最终得到一个高质量、精确的操作结果。

通过新型人机协同方式采集的数据，在实验上集合人类与智能体的“二家之长”，通过HAJL范式采集到的数据同时可以用于进一步训练智能体，实现了人类与智能体共同学习。随着采集的数据增多，训练得到更加智能的智能体，在智能体辅助的采集任务上人类的负担减少，形成了人类采集数据越多，智能体越强，智能体越强，人类越轻松的良性循环。

实验结果

研究团队构建了涵盖机械臂-夹爪、高自由度灵巧手的多维度验证体系，系统性测试工具使用（Tool-Use）、方块推动（Cube-Push）、定点抓取放置（Pick-and-Place）及铰链体操作（Articulated-Manipulation）等复杂任务。基于成功率（Success Rate）、轨迹效率（Horizon Length）、采集速度（Samples per Hour）三项核心指标，在仿真环境中两组志愿者在智能体辅助下的表现均显著优于无辅助组。

为进一步验证系统泛化性，团队结合Diffusion Policy (DP)、Behavior Cloning (BC)等前沿算法开展下游任务测试。结果显示：HAJL采集的数据在工具使用等场景中，控制精度达到甚至超越人类专家数据水平。这一跨虚拟-现实场景的全链路验证，充分证实了HAJL框架在复杂任务中的鲁棒性与实用性。

1.Pick and Place

2.Open drawer

3.Push cube

总结展望

上海交通大学人工智能学院与UIUC联合团队提出的HAJL框架为人机智能协同领域提供了一种创新的解决方案，有效提高了机器人操作技能获取的效率和质量，降低了成本。

未来，随着数据可获取性和成本可负担性的不断提高，这一研究成果有望在推动具身智能研究和落地方面发挥重要作用。相信在不久的将来，我们能够看到更多基于人机协作的智能应用，为人们的生活和工作带来更多的便利和可能性。

关于作者

论文的共同一作为罗盛成、彭泉泉（上海交大ACM班大三本科生）、吕峻，合作者为Kaiwen Hong（UIUC）、Katherine Rose Driggs-Campbell（UIUC助理教授）、卢策吾（上海交大人工智能学院教授、副院长，上海创智学院副院长），通讯作者为李永露（上海交大人工智能学院助理教授、上海创智学院全时导师）。

李永露博士，上海交大助理教授、上海创智学院全时导师，博导，研究具身智能、物理推理、行为理解，发表研究成果50+（TPAMI、NeurIPS、ICML、CVPR、ICCV、ECCV、IJCV），引用100+论文8篇，ESI高被引论文3篇；开源项目30余项，获Github star 1.3万+；代表工作HAKE（引用1.3k+，Github Star 2.18k+，官网全球访问15.8万+次）、AlphaPose（引用630+，Github Star 8.4k+），大幅提高视觉行为理解精度。任NeurIPS 2024、2025 Area Chair，上海交大ACM班《计算机视觉》课程教师，VALSE EACC，中国人工智能学会-具身智能专委会副秘书长。主持、参与多项国家级项目，如青基、科技部重点研发计划等。获中国人工智能学会吴文俊人工智能科学技术奖-优秀博士学位论文、ICRA 2025 Best Paper on HRI、WAIC云帆奖-璀璨明星、明日之星、AI100青年先锋、NeurIPS’20/21杰出审稿人、百度奖学金、华人AI新星百人等。