交大要闻

上海交大冯宇老师研究成果荣获ASPLOS 2025最佳论文奖

近日,计算机体系结构顶级会议ACM ASPLOS 2025在荷兰鹿特丹举办。上海交通大学计算机学院约翰·霍普克罗夫特计算机科学中心助理教授冯宇与美国罗切斯特大学合作完成的论文"MetaSapiens: Real-Time Neural Rendering with Efficiency-Aware Pruning and Accelerated Foveated Rendering"(效率感知剪枝和注视点渲染的实时神经渲染技术)荣获会议最佳论文奖(Best Paper Award)。冯宇是该论文共同第一作者。本次会议共录用160篇论文,其中仅6篇获得最佳论文奖,本篇是大陆地区唯一获此殊荣的论文。

640.jpg

冯宇荣获ASPLOS 2025最佳论文奖

研究背景

渲染技术正在渗透到社会的各个方面。例如,在智慧城市、数字医疗和远程存在等新兴领域,渲染对于实现数字孪生至关重要。增强现实/虚拟现实(AR/VR)对实时、逼真渲染的需求随着对该技术兴趣的重新激发而不断提高。

基于点的神经渲染(PBNR),即3D高斯溅射算法,正作为一种新类别的渲染解决方案出现,它利用当前神经渲染方法重新激活了传统的基于点的渲染技术。与以前的神经渲染算法如神经辐射场(NeRF)相比,PBNR提供了逼真的渲染效果,通过学习数据中的场景辐射,但通过使用轻量级的基于点的光栅化代替了NeRF中计算密集的多层感知机(MLPs),显著提高了速度。

然而,PBNR在移动设备上仍远非实时,通常在移动端Nvidia Volta GPU上的渲染速度低于每秒10帧。本文提出了MetaSapiens,它在保持人类视觉质量的同时,实现了移动设备上的实时PBNR。

研究成果

MetaSapiens主要提出了三个关键要素:

微信图片_20250416092849.jpg

整体算法优化思路

针对效率感知的模型剪枝:最近对优化PBNR模型的努力主要集中在剪枝上,这虽然减少了模型大小,但并没有带来显著的速度提升。这是因为现有的剪枝方法只是单一地减少点的数量,而忽视了实际的计算成本。我们发现PBNR模型中的不同点对总体计算的贡献各不相同。相反,我们提出了一种效率感知的剪枝方法,直接针对渲染/推理速度进行优化。

注视点的PBNR渲染:MetaSapiens还利用人类视觉的特性来提高性能。人类的视觉敏锐度在视觉外围较差,这一点长期以来一直被利用:通过逐渐降低像素偏心度增加时的渲染质量(即像素位于视觉外围更多的位置),可以无罪地加速渲染,这种技术被称为聚焦渲染(FR)。我们引入了PBNR的第一个FR方法。我们逐渐减少用于渲染的点的数量,随着像素偏心度的增加。关键是数据表示,更高偏心度的点被有意设计为更低偏心度点的严格子集。这样,当渲染不同偏心度区域时,(大部分)参数和计算是共享的,提高了性能并减少了存储需求。

微信图片_20250416093004.jpg

整体硬件架构设计

专用架构支持:虽然上述两种技术在GPU上已经提供了大约一个数量级的速度提升,但我们共同设计了一个加速器架构,以进一步提高性能。除了为FR提供硬件支持外,硬件还解决了PBNR中FR加剧的一个关键性能瓶颈:由于帧中各瓦片的工作量不平衡,导致硬件利用率低。我们的硬件通过:动态瓦片合并方案平衡各瓦片的工作量和通过线缓冲逐步流水化相邻阶段,来缓解这一问题。

论文链接:https://horizon-lab.org/metasapiens/

会议信息

ASPLOS(ACM International Conference on Architectural Support for Programming Languages and Operating Systems)是涵盖跨学科系统研究、交叉计算机体系结构、硬件和新兴技术、编程语言和编译器、操作系统和网络的CCF-A类计算机体系结构国际顶级会议。本届会议共收到来自世界各国学术论文912篇,录用160篇,录取率为17.5%,共评出6篇最佳论文(占录取论文的3.75%)。

微信图片_20250416093104.jpg微信图片_20250416093110.jpg

颁奖现场

作者介绍

微信图片_20250416093143.jpg

冯宇,上海交通大学计算机学院助理教授,博导。2023年于美国罗切斯特大学获计算机科学博士学位,2023-2024年在美国罗切斯特大学担任博士后研究员,2024年入选国家级高层次青年人才计划。长期从事计算机体系结构,端侧推理加速等研究。在ISCA、MICRO、ASPLOS、ICCAD等体系结构领域的顶级会议上发表了论文20余篇,其中体系结构四大会议论文14篇。曾获2022年IEEE VR最佳论文荣誉提名、2025年ICCD最佳论文提名。

计算机学院
计算机学院(网络空间安全学院)
吴迪
钱露