来源：CVPR 2021

作者：Mahmoud Afifi, Konstantinos G. Derpanis, Björn Ommer, Michael S. Brown

研究背景

相机成像的曝光问题可以分为曝光过度和曝光不足这两类。曝光不足和曝光过度会在很大程度上降低图像的对比度和视觉吸引力。先前的曝光校正工作主要集中在曝光不足的图像或一般图像增强。对于过度曝光图像的校正，现有的方法比较有限。

工作贡献

• 作者提出了一个由粗到细的深度学习方法，可以同时校正图像的过度曝光与曝光不足的问题。

• 作者构造了了一个新的数据集，该数据集的曝光范围比以往的数据要广泛。

• 实验表明，作者的方法在校正曝光不足图像上，与当前最先进的方法相当，并且能够显著的改善过度曝光的图像质量。

研究内容

图像的多分辨率分解

作者将曝光问题的校正分为了两个子问题：颜色增强与细节增强。由此，提出了一个由粗到细的深度学习模型，按顺序对图像进行颜色增强与细节增强。先利用拉普拉斯金字塔对输入图像进行多分辨率分解。拉普拉斯金字塔的第一层捕获图像的细节信息，最后一层捕获图像的全局信息，随着层数的减少，金字塔的每一层对应图像由粗到细的细节特征。然后，设计了一个DNN，对其进行端到端的训练，以此来以顺序的方式预测拉普拉斯金字塔中每一层缺失的颜色或细节信息，从而校正输入图像I的全局信息和细节信息。

网络架构

网络由n(拉普拉斯金字塔的层数)个子网络组成。每一个网中都是一个类似u -net的架构。
作者根据金字塔每一层对应的子问题对最后重建结果的影响程度，以权重的方式来对子网分配网络容量。

工作流程

输入图像对应的拉普拉斯金字塔的最后一层X(n)输入网络中的第一个子网，来处理图像中的全局信息并产生放大图像Y(n)，利用跨行转置卷积对Y(n)进行放大，然后将Y(n)与拉普拉斯金字塔的上一层X(n-1)进行叠加，输入到第二个子网。该子网络对当前层的细节进行增强，利用残差连接，将上一个子网的输出与当前子网的输出进行叠加，作为子网的最终输出Y(n-1)。以此类推，直至输出图像Y的产生。

实验结果

总结

作者提出了一个由粗到细深度学习模型，用于过度曝光和曝光不足的图像校正。利用拉普拉斯金字塔分解对不同频带的输入图像进行处理，以多尺度的方式顺序纠正每个拉普拉斯金字塔级别，从图像中的全局颜色开始，逐步解决图像细节问题。
此外，作者还构造了具有更大曝光范围的数据集，用于模型训练。实验表明，作者的方法能够有效校正曝光异常的图像。

启发

可以通过利用拉普拉斯金字塔对图像进行分解，依次获取图像的低频信息(颜色，轮廓等)到高频信息(细节，边缘，纹理)。在其他视觉任务上，这种对图像进行多尺度分解的方式，能够有效利用图像的各个尺度的信息，也许能够获得较好的结果。