论文来源：CVPR2023
作者单位：浙江大学
一、论文主要工作
作者提出了一种新颖的语义驱动的 NeRF 编辑方法，该方法使用户能够使用单个图像编辑神经辐射场，并忠实地提供具有高保真度和多视图一致性的编辑后的新颖视图。为了实现这一目标，作者提出了一个先验引导的编辑领域来编码3D空间中的细粒度几何和纹理编辑，并开发了一系列技术来辅助编辑过程，包括带有代理网格的循环约束以促进几何监督，用于稳定语义驱动的纹理编辑的颜色合成机制，以及用于保持不相关内容不变的基于特征簇的正则化。对现实世界和合成数据的大量实验和编辑示例表明，作者的方法仅使用单个编辑图像即可实现照片级真实感 3D 编辑，从而突破了 3D 现实世界场景中语义驱动编辑的界限。
二、论文贡献
1.作者提出了一种新颖的语义驱动的基于图像的编辑方法，用于现实场景中的神经辐射场。
2.与之前直接微调现有的NeRF模型不同，SINE学习了一个先验引导的编辑字段来编码原始3D场景上的几何和纹理变化，从而能够进行精细调整颗粒化的编辑能力。
3.提出了一种颜色合成机制，首先单独渲染模板NeRF颜色和修改颜色，然后延迟混合它们以产生编辑视图，这样显著改进了语义驱动的纹理编辑。
三、方法
1.SINE渲染管道
使用专用编辑字段对预训练模板 NeRF 上的几何和纹理变化进行编码,借此可以从模板NeRF的像素颜色获得变形模板图像，从修改颜色获得颜色修改图像。最后应用颜色合成层将上述两个图像混合到编辑后的视图中。
2.几何先验指导语义驱动编辑
（1）对编辑的NeRF进行形状先验约束。作者利用几何先验模型，如神经隐式形状表示或深度预测，来减轻基于单一视角编辑的几何编辑的模糊性。
（2）将编辑后的NeRF几何体表示为变形的代理网络。文章首先用代理网格拟合模板NeRF几何体，然后学习正向修改字段，将模板代理网格扭曲到编辑后的空间。
（3）通过用户的二维编辑学习几何编辑。几何编辑的目标是在满足语义属性的同时，根据编辑后的目标图像对给定的NeRF进行变形。
3.纹理先验指导语义驱动编辑
为使编辑效果自然地传播到具有语义意义的多视图中，使用预训练的VIT模型作为语义纹理先验，并以多视图方式应用纹理转移损失。
4.编辑基于语义掩蔽的正则化特征聚类。
为了在保持其他内容不变的同时精确编辑所需区域，作者使用DINO VIT学习了一个提取的特征场，以重建具有语义特征的场景/对象。
四、实验
1.语义驱动和手动编辑的区别
2.语义驱动的几何编辑效果图
3.语义驱动的纹理编辑效果图
五、总结
1.作者提出了一种新的语义驱动的NeRF编辑方法，该方法支持用单用户编辑的图像编辑照片级逼真的模板NeRF，并提供高保真度和多视图一致性的编辑新视图。
2.作者开发了一系列技术来帮助编辑过程，包括使用代理网格的循环约束来促进几何监督，使用颜色合成机制来稳定语义驱动的纹理编辑，以及使用基于特征聚类的正则化来保持无关内容不变。
3.作者在真实世界和合成数据上进行的大量实验和编辑示例表明，该方法仅使用单个编辑图像即可实现照片级逼真的3D编辑，突破了3D真实世界场景中语义驱动编辑的界限。