作者：BERNHARD KERBL,GEORGIOS KOPANAS
单位：Inria, Université Côte d’Azur, France
来源：ACM TOG
时间：2023年

一、研究背景及意义

网格和点是最常见的 3D 场景表示，因为它们是显式的，非常适合基于 GPU/CUDA 的快速光栅化。相比之下，最近的神经辐射场（NeRF）方法建立在连续场景表示的基础上，通常使用体积射线推进优化多层感知器（MLP），以对捕获的场景进行新颖的视角合成。迄今为止最有效的辐射场解决方案是建立在连续表示的基础上的。虽然这些方法的连续性有助于优化，但渲染所需的随机采样成本高昂，并且可能导致噪声。
本文介绍了三个关键要素，使我们能够在保持有竞争力的训练时间的同时实现最先进的视觉质量，重要的是允许在 1080p 分辨率下实现高质量的实时（≥ 30 fps）新视图合成。

二、研究思路及方法

我们方法的输入是一组静态场景的图像，以及由 SfM 校准的相应相机。从这些点出发，我们创建了一组 3D 高斯分布，由位置（均值）、协方差矩阵和不透明度α定义，从而实现非常灵活的优化制度。辐射场的定向外观分量（颜色）通过球面谐波（SH）表示。我们的算法通过一系列 3D 高斯参数的优化步骤（即位置、协方差、α 和 SH 系数与高斯密度自适应控制的操作交错）来创建辐射场表示。 我们方法效率的关键是基于图块的光栅化器，它允许对各向异性碎片进行α混合，并通过快速排序尊重可见性顺序。方法概述图所示。

（1）可微的三维高斯溅射
提出一个完全可微的渲染流程，将3D高斯表示（位置、协方差、颜色和不透明度）通过可微投影映射到2D图像平面，并利用支持梯度反向传播的光栅化方法合成图像；通过定义基于L1和SSIM的损失函数，该框架能够从多视角图像中直接优化所有3D高斯参数，实现了高效、端到端的场景重建，为后续的自适应几何控制（如分裂、剪枝）提供了基础。

（2）通过 3D 高斯自适应密度控制进行优化
提出一种基于梯度和几何先验的动态高斯管理策略：在训练过程中，根据高斯的尺度、不透明度和误差梯度，自适应地分裂过大的高斯以增加细节密度，或剪枝不必要（如低不透明度）的高斯以减少冗余；同时引入克隆机制处理尺度极端情况，从而在保持高效渲染的同时，逐步优化场景的几何结构与视觉质量，实现紧凑且高保真的三维重建。

（3）高斯的快速可微光栅化器
提出一种专为2D高斯设计的高效光栅化方法，能够在GPU上并行计算每个高斯对像素的贡献，并通过解析的可见性排序与可微的α混合合成最终图像；该光栅化器被实现为支持自动微分的CUDA算子，不仅保证了渲染的实时性，还允许梯度从图像损失反向传播到3D高斯的所有参数（如位置、协方差、不透明度和颜色），从而实现了高效且端到端的可微渲染。

三、结果

四、结论

本文提出了一种基于3D高斯显式表示的新型辐射场渲染方法，通过可微分光栅化和自适应密度控制，在实现高质量新视角合成的同时，显著提升了训练与渲染效率，首次达到了实时性能。