图像增强方法、装置、电子设备及存储介质

本技术涉及图像增强，具体而言，本技术涉及一种图像增强方法、装置、电子设备及存储介质。

背景技术：

1、目前，移动终端具有拍摄功能，其携带方便、摄录性能也越来越高，使人们在生活中录制视频，拍摄照片成为可能。图像资源以其丰富的信息量、生动的呈现方式，受到人们的青睐。

2、但是由于不可避免的环境或者技术的限制(比如照明不足和曝光时间有限)，在室外环境下背光、不均匀光和昏暗光照下拍摄的照片的审美质量受到严重损害，而且对于目标追踪、识别和检测等下游任务，性能也极大地被限制。

3、近年来，卷积神经网络(convolutional neural networks，简称cnns)在单图像的低光增强方面取得了很大的进展，受到了研究领域的重视。cnns是一种深度的监督学习下的机器学习模型。但是cnns目前常用的训练数据为合成图像对。但由于室外场景的光照影响因素复杂(如光源方向，光照强度等)，黑夜中在相机感光元件上产生的噪声也难以简单地用高斯噪声建模，所以导致合成数据与真实数据之间有较明显的域间差异，这种差异也有很大地影响了现有低光增强模型在真实黑夜场景下的泛化能力，使得对低光图像进行图像增强时效果不佳。

4、由上可知，如何提高低光增强模型在真实黑夜场景下的泛化性，以提高低光图像的增强效果的问题仍有待解决。

技术实现思路

1、本技术各提供了一种图像增强方法、装置、电子设备及存储介质，可以解决相关技术中存在的低光增强模型在真实黑夜场景下的泛化性不足，低光图像增强的效果不好的问题。所述技术方案如下：

2、根据本技术的一个方面，一种图像处理方法，包括：获取合成域数据集和真实域数据集；根据所述合成域数据集中的合成图像对，对已构建的合成域网络进行第一次训练，得到合成域下的低光增强模型；利用对抗算法，通过所述真实域数据集中的真实低光图像辅助所述合成域数据集，对合成域下的低光增强模型进行第二次训练，得到真实域下的低光增强模型；调用真实域下的低光增强模型对待增强低光图像进行图像增强处理，得到高光增强图像。

3、根据本技术的一个方面，一种图像增强装置，其特征在于，所述装置包括：数据集获取模块，用于获取合成域数据集和真实域数据集；第一训练模块，用于根据所述合成域数据集中的合成图像对，对已构建的合成域网络进行第一次训练，得到合成域下的低光增强模型；第二训练模块，用于利用对抗算法，通过所述真实域数据集中的真实低光图像辅助所述合成域数据集，对合成域下的低光增强模型进行第二次训练，得到真实域下的低光增强模型；图像增强模块，用于调用真实域下的低光增强模型对待增强低光图像进行图像增强处理，得到高光增强图像。

4、在一示例性实施例中，所述对抗算法通过引入扩散模型的判别器实现；

5、在一示例性实施例中，第二训练模块包括：判别器训练单元，用于保持合成域下的低光增强模型的参数不变，在利用扩散模型对所述真实低光图像和合成低光图像进行加噪后对所述判别器进行训练，得到完成训练的判别器；模型训练单元，用于保持完成训练的判别器的参数不变，在利用扩散模型对所述真实低光图像进行加噪后对合成域下的低光增强模型进行训练，得到真实域下的低光增强模型。

6、在一示例性实施例中，判别器训练单元，包括：特征提取子单元，用于分别对所述真实低光图像和所述合成图像对中的合成低光图像进行隐空间特征提取，获得合成空间特征和真实空间特征；加噪子单元，用于将所述合成空间特征和所述真实空间特征输入扩散模型，在扩散模型的前向过程中对所述合成空间特征和所述真实空间特征进行加噪并输入所述判别器进行判定；修正子单元，用于获取所述判别器的第一判别结果，若所述第一判别结果指示所述合成空间特征来自真实域数据集，和/或，所述真实空间特征来自合成域数据集，则对所述判别器的参数进行更新，直至第一判别结果指示所述真实空间特征被判别器判定为来自真实域数据集，且所述合成空间特征被判别器判定为来自合成域数据集，完成所述判别器的训练。

7、在一示例性实施例中，特征提取子单元，包括:合成图像特征提取子单元，用于将所述合成低光图像输入编码器进行编码获得合成图像特征，所述合成图像特征位于隐空间域；真实图像特征提取子单元，用于将所述真实低光图像输入编码器进行编码获得真实图像特征，并将所述真实图像特征映射至所述合成图像特征所在的隐空间域。

8、在一示例性实施例中，模型训练单元，包括：图像特征提取子单元，用于对所述真实低光图像进行隐空间特征提取获得真实空间特征；加噪子单元，用于将所述真实空间特征输入扩散模型，在扩散模型的前向过程中对所述真实空间特征进行加噪，并输入完成训练的判别器进行判定；修正子单元，用于获取所述判别器的第二判别结果，若所述第二判别结果指示所述真实空间特征来自真实数据集，则对所述低光增强模型的参数进行更新，直至所述真实空间特征被完成训练的判别器模型判定为来自合成数据集，完成低光增强模型的训练。

9、在一示例性实施例中，所述加噪子单元，包括：参数调整子单元，基于所述第二判别结果的判别准确度，对用于所述扩散模型的前向过程的加噪参数进行调整；扩散加噪子单元，在扩散模型的前向过程中，根据所述加噪参数对所述真实空间特征进行加噪。

10、在一示例性实施例中，第一训练模块，包括：图像处理单元，用于将当前一个合成图像对中的合成低光图像输入合成域网络进行图像增强处理，得到预测高光图像；损失值计算单元，用于根据预测高光图像和当前一个合成图对中合成高光图像之间的差异计算损失值；参数更新单元，用于若损失值满足收敛条件，则得到合成域下的低光增强模块否则，更新合成域网络的参数，并获取后一个合成图像对继续对合成域网络进行第一次训练，直至损失值满足收敛条件。

11、根据本技术的一个方面，一种电子设备，包括：至少一个处理器、至少一个存储器、以及至少一条通信总线，其中，存储器上存储有计算机程序，处理器通过通信总线读取存储器中的计算机程序；计算机程序被处理器执行时实现如上所述的图像增强方法。

12、根据本技术的一个方面，一种存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上所图像增强方法。

13、根据本技术的一个方面，一种计算机程序产品，计算机程序产品包括计算机程序，计算机程序存储在存储介质中，计算机设备的处理器从存储介质读取计算机程序，处理器执行计算机程序，使得计算机设备执行时实现如上所述的图像增强方法。

14、本技术提供的技术方案带来的有益效果是：提高低光增强模型在真实黑夜场景下的泛化性，进而有利于提升低光图像的增强效果。

15、在上述技术方案中，基于合成域数据集和真实域数据集对合成域网络进行两次训练，具体地，第一次是利用合成域数据集进行的训练，第二次是通过对抗扩散算法，利用真实域数据集辅助合成域数据集进行的训练，使得合成域网络从合成域训练为能在真实域上进行低光图像增强的低光增强模型，由此，利用能在真实域上进行低光图像增强的低光增强模型对待增强低光图像进行图像增强处理，便能够生成兼具高可视性和高信噪比的低光增强图像，从而能够有效地解决相关技术中存在的低光增强模型在真实黑夜场景下的泛化性不足，低光图像增强的效果不好的问题。