一种基于深度可分离卷积的低光照图像快速清晰化方法

本发明涉及图像处理的，尤其是涉及一种基于深度可分离卷积的低光照图像快速清晰化方法。

背景技术：

1、长期以来，无人机由于飞行高度高，相比于地面图像有更大的视野，可以捕获到更多的信息，已经在军用和民用方面得到了大量的应用，在夜间执行任务时，低光照的环境条件限制了无人机进行高效图像采集处理，在夜间，进入传感器的光子数量大幅度减少，导致图像亮度变低。当图像当中大部分区域亮度很低时，图像的细节信息难以察觉，导致图像整体质量降低。因而，低光照图像增强成为图像增强领域重要的研究内容。

2、目前常用的低光照图像增强方法主要包含基于传统方法的图像增强算法和基于深度学习的图像增强算法。

3、基于传统方法的图像增强算法主要基于retinex理论，将图像分解为照度图和反射图，对照度图进行增强。主要包括基础的直方图均衡算法，限制对比度的直方图均衡算法，通过估计相机响应模型调整图像曝光算法等。然而传统方法无法使用硬件加速，在处理较大的图像时往往速度很低，不适合需要进行实时图像增强的场景。

4、基于深度学习的图像增强算法主要使用卷积神经网络(cnn)分解照度图和反射图，并结合深度学习的方法对照度图和反射图分别进行处理进而实现图像增强，部分方法则使用图像转换的方法，不使用额外的物理模型。深度学习的算法主要包括retinexnet，lightennet，dce-net和transformer模型iat等。然而目前许多低光照图像清晰化算法主要依赖于成对数据或正负样本进行训练。由于无人机平台的特殊性，无法保证不同时间点拍摄的图像当中的细节像素可以完全匹配，所以无法提供成对数据进行训练。

技术实现思路

1、本发明的目的是提供一种基于深度可分离卷积的低光照图像快速清晰化方法，按照零参考的方式进行设计，仅使用低光照图像对网络进行训练，并最终得到低光照快速清晰化后的图像。

2、为实现上述目的，本发明提供了一种基于深度可分离卷积的低光照图像快速清晰化方法，包括以下步骤：

3、s1：使用若干个低亮度图像作为待处理图像集，并随机划分为训练集和验证集

4、s2：构建低光照图像清晰化网络模型，包括编码器、特征提取模块、解码器和调整曲线模块；

5、s3：构建训练用的损失函数，包括空间一致性损失，曝光控制损失，颜色恒定性损失，照明平滑性损失；

6、s4：将训练集输入到低光照图像清晰化网络模型中，进行训练，并通过步骤s3中的损失函数优化低光照图像清晰化网络模型的参数，得到训练好的处理模型；

7、s5：将验证集输入到处理模型中，得到清晰化后的图片。

8、优选的，所述步骤s2中，编码器的结构如下：

9、包括一个基础的3*3的卷积和若干个步长为2的3*3卷积，每个步长为2的3*3卷积的输出端均连接有多尺度模块；

10、多尺度模块中，先经过批处理归一化模块，再分别连接三个卷积核大小不同的dw卷积模块计算不同尺度的特征，再对计算得到的不同尺度的特征进行拼接，拼接结果再经过pw卷积降维到原始通道数，最后经过relu激活函数后与原始输入进行元素相加得到输出结果。

11、优选的，所述步骤s2中，特征提取模块的结构如下：

12、特征提取模块包括若干个类注意力卷积模块，类注意力卷积模块的结构如下，将编码器的输出作为输入，依次经过批处理归一化模块和pw卷积模块，并分别经过sigmoid激活函数和dw卷积，将得到的结果进行元素相乘后，再使用pw卷积调整通道数，并将处理后结果采用残差结构与原始输入进行逐像素相加，得到输出结果。

13、优选的，所述步骤s2中，解码器的结构如下：

14、包括若干个上采样块，上采样块包括一个放大倍数为两倍的可微分的双线性插值层，每个上采样块后面均连接有处理模块，处理模块包括一个卷积层，卷积核的大小设置为3*3，卷积层的输出端连接有一个批处理归一化模块和一个relu激活层，再连接softmax层，获得最终输出结果，并将解码器的输出结果与调整曲线模块的输入相连接。

15、优选的，所述步骤s2中，调整曲线模块的结构如下：

16、调整曲线模块采用zero-dce中的二阶调整曲线，公式如下：

17、le(i(x)；α)＝i(x)+αi(x)(1-i(x))

18、上式中，i(x)代表输入图像，le(i(x)；α)是输出图像，α是可训练超参数；

19、对上述二阶调整曲线进行迭代处理，用上一级二阶调整曲线的输出作为下一级调整曲线的输入，公式如下：

20、len(x)＝len-1(x)+anlen-1(x)(1-len-1(x))

21、上式中，n为迭代次数，an为像素级的调整参数，图像中每一个像素均设置有一个独立的调整曲线。

22、优选的，所述步骤s3中，损失函数的具体内容如下：

23、空间一致性损失的公式如下：

24、

25、上式中，k是算法选择的区域个数，y是算法处理后每个像素的亮度值，ω(i)为以i像素为中心的四个相邻区域包括上、下、左、右，y和i分别表示增强后图像和输入图像中局部区域的平均亮度值；

26、曝光控制损失公式如下：

27、

28、上式中，m为处理区域内的像素数，y是算法处理后每个像素的亮度值，e为亮度的中间值；

29、颜色恒定性损失的公式如下：

30、

31、上式中，jp表示算法增强后图像p通道的平均灰度值，jq表示算法增强后图像q通道的平均灰度值，r、g、b则是三原色对应的红绿蓝三个通道；

32、照明平滑性损失的公式如下：

33、

34、上式中，a表示每个曲线参数图，n表示迭代的次数，ξ表示图像的通道索引，和分别表示对曲线参数图水平方向和垂直方向求解梯度操作，和分别表示曲线参数图水平方向和垂直方向的梯度大小；

35、综上，损失函数的公式为：ltotal＝lspa+lexp+ωcollcol+ωtvaltva

36、上式中，ωcol和ωtva分别表示对应的损失权重。

37、优选的，所述步骤s4中，训练过程如下：

38、s41：针对训练集的低照度图像，使用上下翻转、水平翻转、随机裁剪的方式进行数据增强；

39、s42：将数据增强后的图像输入至低光照图像清晰化网络模型进行训练，通过步骤s3构建的损失函数不断优化模型，得到模型的最终权重参数，为训练好的处理模型。

40、因此，本发明采用上述的一种基于深度可分离卷积的低光照图像快速清晰化方法，具有以下好处：

41、(1)在本发明中，可以在不需要额外的参考图像的条件下，仅使用未经处理的低照度原始图像，就能完成对模型网络的训练，从而实现对实时拍摄的图片进行快速清晰化的效果。

42、(2)在本发明中，在原zero-dce算法的基础上更换为了类似u-net的特征提取网络，并采用多尺度特征提取模块和类注意力卷积模块，在很大程度上提高了模型网络的特征提取能力，通过引入深度可分离卷积加快了网络的特征学习速度和推理速度。

43、(3)在本发明中，通过在训练网络的同时，采用输出调整曲线和多种损失函数对网络进行优化，有效避免了原zero-dce算法噪声过多，存在很多过曝区域，图片质量低的现象。

44、下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。