作者： Ben Fei，Jingyi Xu，Rui Zhang，Qingyuan Zhou，Weidong Yang，Ying He
单位：复旦大学，南洋理工大学
来源：IEEE Transactions on Visualization and Computer Graphics
时间：2024
1.核心内容
3D Gaussian Splatting（3D-GS）是用于实时辐射场渲染的 3D 高斯分布描述的一种光栅化技术，它允许实时渲染从小图像样本中学习到的逼真场景，已成为计算机图形学领域的一个重大进步。此技术在机器人、城市地图、自主导航和虚拟现实/增强现实等领域有着不同的应用。鉴于3D-GS的日益流行和研究的不断扩展，该文对过去一年的相关论文进行了全面的概述。介绍了3D-GS的理论基础，并根据特征和应用介绍了一种框架，对3D-GS中使用的技术和算法进行了详细分类。该篇综述的目的是让新的研究人员熟悉3D-GS，为该领域的开创性工作提供宝贵的参考，并启发未来的研究方向。
2.背景技术
3D-GS流程：
系统首先使用运动结构恢复 (SfM: Structure from Motion) 方法从一组图像中估计点云，通过对点云初始化，得到 3D 高斯球，然后借助相机外参将点投影到图像平面上（即Splatting），接着用可微光栅化，渲染得到图像。得到渲染图像Image后，将其与Ground Truth图像比较求loss，并沿蓝色箭头反向传播。蓝色箭头向上，更新3D高斯中的参数，向下送入自适应密度控制中，更新点云。
运动结构恢复——>转换高斯分布——>模型训练——>可微分高斯光栅化
效果：
3.统一框架
文章引入了一个统一的框架来对现有的3D-GS工作进行分类：表现、重建、操纵、生成、感知、虚拟人。
4.优化及主要应用
优化：尽管3D-GS已经展示出了很高的能力和效率，但在以下方向上仍有进一步改进的空间：
a)使3D-GS在实时渲染中更好的利用内存空间（保存质量的同时减少内存使用）
b)进一步提高渲染图像的质量
c)减少输入的原始视图（在输入视图减少的情况下保证最终渲染图像的质量）
d)使3D-GS能够用真实的动力学来表示动态场景
应用一：Reconstruction 重建
3D-GS的广泛采用在很大程度上归功于其卓越的渲染速度和从新视点合成逼真场景的能力。与nerf类似，静态场景中的网格提取和表面重建是一个基本但必不可少的方面。为了解决具有挑战性的场景，例如在自动驾驶等实际应用中经常遇到的单目或少镜头情况，需要进一步的研究。此外，3D-GS的训练时间在几分钟左右，可以实时渲染，便于动态场景的重建。
应用二：Manipulation 操纵
由于3D-GS的显式特性，它对于编辑任务具有很大的优势，因为每个3D高斯都单独存在。通过所需的各种约束条件直接操纵3D高斯，可以轻松编辑3D场景。该篇综述中列举了如下四种操纵条件：
a) Text-guided or Image-guided Manipulation 文本或图像操纵
b) Non-rigid Manipulation 非刚性操纵
c) Time-efficient Editing 时间效率编辑
d) 4D Manipulation 四维动态场景编辑
应用三：Generation 生成
由于在扩散模型和3D表示方面取得了重大进展，从文本/图像提示生成3D资产现在是AIGC中一个很有前景的任务。此外，借助3D-GS作为对象和场景的明确表示，可以实现快速甚至实时渲染。虽然3D生成已经显示出一些令人印象深刻的结果，但4D生成仍然是一个具有挑战性和未充分探索的主题。
应用四：Perception 感知
利用3D-GS, 3D感知在语义目标检测或定位、3D分割、运动对象跟踪以及同步定位和映射(SLAM)方面有进一步发展的潜力。
应用五：Virtual Humans 虚拟人
学习具有NeRF和SDF等隐式神经表示的虚拟人化身需要很长的优化和渲染时间，并且难以生成令人满意的质量较高的身体姿势。相反，实验证明，利用3D高斯表示可以提高训练和渲染速度，并提供对人体变形的明确控制。
通常，基于三维高斯分布的方法首先使用SMPL人体模板初始化高斯分布，然后使用线性混合蒙皮(LBS)将表示变形到观测空间。然后通过多视图或单目视频渲染和监督高斯分布。此外，一些方法专门用于重建人类头部头像。
5.结论
1.简要介绍了3D-GS的背景知识，即一种实现了辐射场的实时渲染的新方法，能够在较少的训练时间中，实现SOTA级别的视觉效果，针对用多张照片和视频拍摄的场景，允许以 1080p 分辨率进行高质量的实时（≥ 30 fps）新视图合成。
2.介绍了一个具有系统分类的统一框架：用于在3D Gaussian Splatting技术中对现有工作进行分类，该框架将该领域分为6个主要方面。此外，还提供了3D高斯分布应用的详细分类，提供了该领域的全面视角。
3.全面和最新的概述：该篇综述对3D-GS进行了广泛和最新的回顾，涵盖了经典和尖端的方法。对于每个类别，提供细致的分类和简明的摘要。