一种基于多模态引导循环生成网络的低照度图像增强方法

本发明属于计算机视觉与数字图像处理领域，具体为一种基于多模态引导循环生成网络的低照度图像增强方法。

背景技术：

1、低照度图像增强的目标就是通过改善图像的对比度、亮度、清晰度、色彩等方面，提高拍摄图像的质量，可见性，视觉效果和信息量，使图像具有良好的视觉舒适度，从而帮助人们探索复杂的黑暗环境。低照度图像增强的研究有着广泛的应用和重要的意义，在多个领域中都有相关的应用与需求，如：智能手机，安防监控，自动驾驶等。

2、低照度图像增强技术在实际应用中面临着诸多困难和挑战。夜间拍摄图像场景多种多样，图像退化水平参差不齐，如何实现应对各种场景下的低照度图像都具有较好增强效果的低照度图像增强方法仍有待进一步研究。现有大多数解决方案(即监督学习方法）依赖于配对图像。但是真实世界中同时捕捉低照度图像和配对的正常光照图像很困难，如果从清晰图像中合成低照度图像，获得的数据通常不够逼真，这些数据看起来像低照度图像，但很难真实地反映低照度的特征，如噪声、图像中会出现过曝和欠曝区域等，导致合成的配对图像训练出的模型不适应真实场景。并且不同正常光照图像之间的亮度差异很大，监督学习方法影响了模型的性能。

3、本方法通过引入多模态信息可以帮助网络学习到不同的先验知识，从而得到更适合人眼视觉观感的结果。因此，本低照度图像方法增强通过无监督的训练方式以及引入多模态信息，可以帮助网络实现更好的图像增强效果，并且能够在实时帧率下稳定运行。

技术实现思路

1、针对低照度图像增强目前存在的依赖配对图像，增强效果不佳，难以适应多样环境的问题，本发明提出一种基于多模态引导循环生成网络的低照度图像增强方法。

2、为达到上述目的，本发明采用了如下技术方案：

3、一种基于多模态引导循环生成网络的低照度图像增强方法，包括以下步骤：

4、步骤1、对lsrw（low-light real-world）数据集中真实低照度图像和bsds300数据集中真实正常光照图像分别进行采样得到图像训练集，将训练集中图像进行缩放，统一图像大小并进行归一化，再对训练集进行图像旋转、翻转等数据增强操作；

5、步骤2、将经过步骤1得到的训练集中的真实低照度图像送入预处理网络；再将经过预处理网络的真实低照度图像输入低照度图像增强网络获得合成正常光照图像，将真实正常光照图像送入低照度图像生成网络得到合成低照度图像；

6、步骤3、设计文字提示词对，即低照度图像和正常光照图像的文字语言描述。根据图像增强\生成结果和文字提示词对，利用多模态教师模型图像编码器和文字编码器，分别编码图像增强\生成结果和文字提示词对，根据特征向量得到增强效果评价分数；

7、步骤4、使用多模态教师模型图像编码器分别编码增强\生成前后图像，利用编码出的特征向量得到图像增强一致性评价分数；

8、步骤5、分别将合成低照度图像，合成正常光照图像送入图像判别器网络对图像类型进行判断。

9、步骤6、通过增强一致性评价分数和增强效果评价分数以及判别器判别结果，对多模态引导循环生成网络进行优化迭代。

10、现有技术普遍采用监督学习方法，依赖于配对图像对进行训练。本发明提出了基于多模态引导循环生成网络的低照度图像增强方法，摆脱了对配对图像对的依赖，引入多模态信息，提升了低照度图像增强效果。

11、进一步地，所述步骤2中，该预处理网络应包含5个阶段：第一特征提取层，第一下采样层，第一上采样层，残差层和编码层。第一特征提取层分别包含5个卷积核大小为的第一卷积层，归一化层与激活层。第一下采样层包含2个卷积核大小为的第二卷积层和激活层组成。第一上采样层包含2个卷积核大小为的逆卷积层和激活层组成。残差层由3个残差块组成，残差块由3个卷积核大小为的卷积层、归一化层、激活层组成。归一化层为bn，激活层为relu6。编码层包含一个输入维度为612，输出维度为3且有3层256维的隐藏层的全连接层以及一个位置编码器。网络输入为一张大小为的3通道图片，输出为大小的3通道预处理后图像。

12、进一步地，所述步骤2中，低照度图像增强网络和低照度图像生成网络构成相同，该网络包含5个部分：网络由第二特征提取层、第二下采样层、第二上采样层、残差层以及后处理层构成；第二特征提取层由1个反射填充层、1个卷积核大小为的第三卷积层、归一化层和激活层组成；第二下采样层包含3个卷积核大小为的第四卷积层和激活层。第二上采样层包含3个卷积核大小为的逆卷积层和激活层。残差层由3个残差块组成，残差块由3个卷积核大小为的卷积层、归一化层、激活层组成。归一化层为bn，激活层为relu；后处理层由反射填充层、第五卷积层和激活层组成，激活层为tanh激活函数。网络输入为一张大小为的3通道图片，输出为大小的3通道增强后图像。

13、进一步地，所述步骤3-步骤4中，图像编码器由前处理层，视觉转换器，归一化层组成；前处理层包含1个卷积核大小为的第六卷积层和位置编码器。视觉转换器由3个残差注意力层组成，残差注意力层包括1个多头注意力层和1个全连接层；全连接层由线性层，激活层组成；激活层为relu。归一化层为bn。输入为的3通道图像，输出为512维的图像编码。

14、文字编码器由主干层和瓶颈层组成；主干层由3个主干块和1个卷积核大小为的平均池化层组成，每个主干块由1个卷积核大小为的卷积层，1个激活层，1个归一化层组成；归一化层为bn，激活层为relu；瓶颈层由4个瓶颈块组成，瓶颈块由1个卷积核大小为的平均池化层，激活层和归一化层组成；归一化层为bn。输入为一对文字作为文本提示对，输出为维的文字提示词对编码。

15、进一步地，所述步骤5中，图像判别器网络由正常光照图像判别器和正常光照图像高斯低通判别器组成，网络由3个判别层组成，判别层由1个卷积核大小的第七卷积层和激活函数构成；激活函数为leakyrelu；图像判别器网络输出对图像类型是否属于正常光照图像的判断，输出范围0到1，数字越大代表图像判别器网络认为图像属于正常光照图像的可能性越大。

16、本发明的有益效果在于：

17、本发明提出了一种基于多模态引导循环生成网络的低照度图像增强方法。通过多模态引导循环生成网络进行低照度图像增强，使网络训练摆脱了对配对数据的依赖。通过海量非配对数据集和引入多模态信息提高了网络针对不同环境下拍摄的低照度图像的鲁棒性。多模态引导循环生成网络具有增强效果更好的优点，且适合于在嵌入式等计算能力和内存受限的平台上部署。

技术特征：

1.一种基于多模态引导循环生成网络的低照度图像增强方法，其特征在于，实现步骤如下：

2.根据权利要求1所述的一种基于多模态引导循环生成网络的低照度图像增强方法，其特征在于，所述步骤1中，图像预处理步骤如下：

3.根据权利要求1所述的一种基于多模态引导循环生成网络的低照度图像增强方法，其特征在于，所述步骤2包括：

4.根据权利要求1所述的一种基于多模态引导循环生成网络的低照度图像增强方法，其特征在于，所述步骤3的具体实施步骤如下：

5.根据权利要求1所述的一种基于多模态引导循环生成网络的低照度图像增强方法，其特征在于，所述步骤4包括：

6.根据权利要求1所述的一种基于多模态引导循环生成网络的低照度图像增强方法，其特征在于：所述步骤5包括：

技术总结本发明提出了一种基于多模态引导循环生成网络的低照度图像增强方法。将真实正常光照图像送入低照度图像生成网络得到合成低照度图像，将真实低照度图像经过预处理网络后送入低照度图像增强网络得到合成正常光照图像，再利用多模态教师模型中的图像/文字编码器，对生成结果进行编码得到特征向量，利用特征向量对低照度图像增强/生成网络图像增强前后一致性、图像增强效果等方面进行评价，指导低照度图像增强/生成网络得到更好的结果。该方法在保证了较低的网络复杂度和计算消耗的同时，无监督的训练方法摆脱了对配对训练数据的依赖，多模态信息的加入使低照度图像增强网络能够适应多种不同真实低照度环境，实现了较好的图像增强效果。技术研发人员：张弘,刘家炜,袁丁,杨一帆,刘翰阳受保护的技术使用者：北京航空航天大学技术研发日：技术公布日：2024/9/29