论文:Dynamic NeRF: A Review
作者:Jinwei Lin
01 INTRODUCTION
本章讨论三维重建和神经辐射场(NeRF)渲染的基础研究。传统三维重建技术逐渐倾向于应用研究,而NeRF作为新颖的隐式三维重建领域,以其高分辨率的合成能力和对少量图像的适应性脱颖而出。动态NeRF相比静态NeRF能表达更丰富的信息,有更广泛的应用前景,因此,未来NeRF研究将更多关注动态NeRF,其在NeRF领域的重要性将日益增加。
02 BACKGROUND
本章介绍了动态神经辐射场(Dynamic NeRF)的发展历程,从2021年至2023年,Dynamic NeRF的研究数量持续增长,主要关注点包括提高性能、更新实现方法以及应用于人体或动作的动态渲染。同时,本章还分析了与NeRF相关的综述论文,总结出每篇论文的结构包括介绍、背景、分析和结论四个部分。
03 BASIC METHOD OF ORIGINAL NERF
本章节主要分析了原始NeRF的设计思想和方法。原始NeRF使用一个5D向量函数来表示连续三维场景的表达。其输入数据是沿着相机射线采样的点,包括三维空间位置数据和二维视图方向数据。这些数据作为5D向量函数的输入,通过多层感知机(MLP)处理,输出包括颜色和体积密度信息。原始NeRF的创新之处在于使用可微分函数MLP,通过深度学习对渲染结果进行逼近和修正,控制实际图像数据的残差。
04 MAIN METHODS SUMMARY
本章节概述了设计和实现动态神经辐射场(Dynamic NeRF)的基本流行方法,并基于此进行了进一步分析。综合总结了2021至2023年间动态NeRF的主要方法,并对表格进行了定义和排序。通过分类和比例分析,发现2023年分析的论文比例大幅增长,尽管2022年的数量少于2021年。渲染对象类型中,正常类型最受欢迎,意味着针对一般物体的动态NeRF是主流,而关注单个或人类组件的动态NeRF是第二大研究方向。大规模动态NeRF也是热门研究方向。
05 SIGNIFICANT METHODS ANALYSIS
本章讨论实现动态NeRF的两种主要方法:变形的 ray bending 和骨架驱动的 deformation。NR-NeRF利用ray bending实现非刚性变形,无需显式监督,通过神经网络学习渲染。Skeleton-NeRF基于传统骨架动画,利用隐含代码和混合权重场产生变形场,实现动态渲染。两种方法均扩展了NeRF网络以处理复杂渲染效果,如子弹时间效果,未来研究将结合多个子对象渲染,提高渲染质量和复杂度。
06 CONCLUSION
本章节为对动态神经辐射场(Dynamic NeRF)的综合技术及论述回顾,分析了多个子领域的重要研究结果,提出新的图表展示方法以直观比较动态NeRF的不同维度。通过结合文字、方程和图表,清晰阐述了实现过程。动态NeRF的关键设计是在静态NeRF网络中增加了变形因子或域。但目前的动态NeRF不支持重新编辑控制,未来研究需关注更新方法。大部分研究对未来的可编辑或再编辑NeRF研究有用,且某些原则对高斯喷射设计也有启示。