近日，计算机多媒体领域国际会议IEEE International Conference on Multimedia and Expo (ICME)在澳大利亚布里斯班举行。上海交通大学电子信息与电气工程学院计算机科学与工程系2020级博士生周华毅（导师卢宏涛）为第一作者的论文“Body-Part Joint Detection and Association via Extended Object Representation”（基于扩展对象表征的身体-部位联合检测与关联）经过论文评议委员会以及大会评委的综合评判、论文评审、展示答辩等多个环节，从候选论文中脱颖而出，获大会最佳学生论文奖亚军。该论文与华东师范大学合作完成，通讯作者为华东师范大学姜飞。

研究背景

近年来，深度学习助力下的计算机视觉发展突飞猛进，尤其是目标检测领域，各类先进方法表现突出。关于人体及各种身体部位（如面部、手部和头部）的检测也是如此，精准的人体和其部位检测可以用于人群计数和行人流量监控，也可以服务于各种下游任务，如人脸识别、人体姿态估计、行人重识别或人与物体交互检测等。然而，大多数现有的人体或任何身体部位的人体相关检测方法都是孤立的，这使得后期将这些身体部位与归属人体相匹配的过程变得复杂且容易出错。

论文简介

获奖论文针对上述问题，创新性地研究了身体与部位的联合关联和检测问题。不同于以往各类需要建立额外的关联策略或子网络的方法，论文提出直接扩展传统的目标检测表征，将人体的各种身体部位作为偏移点，统一地编码进检测表征中，以实现整体和部位的联合检测，方法被命名为BPJDet。这种简单且高效的做法，可以结合单阶段目标检测框架，实现端到端可训练，既节省了训练耗时，又省去了各种易出错的后处理操作，在多种身体与部位的联合检测数据集上，达到了最好的性能。最重要的是，这种简洁的思路，可以继续为其它下游任务提供支撑，如基于人体和人头的双检验精准人群计数，或继续扩展检测表征向量，实现人与物体的接触状态估计等任务，相关工作已扩展到期刊文章BPJDetPlus中。

BPJDet示意图，及其与其它现有方法的比较

扩展的目标检测表征示例图

人体与人头的联合检测，关于BPJDet的示例demo

BPJDet代码：https://github.com/hnuzhy/BPJDet

人体与头+手+脚的联合检测，关于BPJDetPlus的示例demo

BPJDetPlus代码：https://github.com/hnuzhy/BPJDet/tree/BPJDetPlus

会议信息

ICME为CCF推荐B类会议，是国际多媒体领域高水平会议之一，是展示与交流多媒体领域科学成果和创新项目的重要学术论坛。ICME 2023共收到1415篇有效投稿论文，录取率约为28%，经过多轮严格评选，最终仅产生2项论文奖：最佳学生论文(Best Student Paper)以及最佳学生论文亚军 (Best Student Paper Runner Up)。