一种基于对抗网络的道路交通光污损图像增强方法及装置与流程

1.本技术涉及计算机应用技术领域和交通领域，特别是涉及一种基于对抗网络的道路交通光污损图像增强方法及装置。


背景技术：

2.在光线不充足的低光环境下拍摄的图像通常遭受低能见度、低对比度、噪声的影响。这一类低光图像可以通过低光图像增强技术进行修复。图像恢复和增强技术是计算机视觉底层和预处理阶段的任务，图像恢复和增强技术可以让模糊、欠曝、过曝等低质量图像转化为清晰、高对比度的高质量图像。
3.但是，现有的低光图像增强技术通常只适用于整体处于低光照环境下的图像，不能对低光照和强光源点同时存在条件下强光源对图像造成能见度低、物体目标丢失等光污染现象进行有效处理。尤其是在交通领域的图像处理中，经常发生这种情况，例如黑夜中在对向车灯的情况下拍摄的图像，图像中车灯处过度曝光，而其它区域则趋于黑暗，不利于交通领域中图像处理识别的等进一步高阶操作。
4.因此，急需一种既能增强低光图像，又能处理强光源点污染的图像增强、恢复技术。


技术实现要素：

5.鉴于上述问题，本发明实施例提供了一种基于对抗网络的道路交通光污损图像增强方法及装置，以便克服上述问题或者至少部分地解决上述问题。
6.本发明实施例的第一方面，提供了一种光污损图像增强方法，所述方法包括：
7.获取光污损图像，生成所述光污损图像的权重图；
8.将所述光污损图像和所述权重图输入对抗神经网络；
9.通过所述对抗神经网络的生成器，生成所述光污损图像的增强图像；
10.其中，所述对抗神经网络包含所述生成器和判别器；所述生成器引入局部注意力机制，以增强生成的图像中强光源点处的性能；所述判别器用于在训练所述对抗神经网络时，判别所述生成器生成的图像是否为对应的高质量图像，并借助损失函数和反向传播进行反馈，实现对抗学习优化生成器和鉴别器。
11.可选地，所述对抗神经网络的生成器生成所述光污损图像的增强图像包括：
12.对所述光污损图像进行下采样，得到多张不同尺寸的所述光污损图像的特征图；
13.将所述多张不同尺寸的特征图进行不同卷积核大小的卷积操作，得到多张待拼接的特征图；
14.将所述多张待拼接的特征图进行特征融合，得到融合特征图；
15.对最后一次下采样得到的所述光污损图像的特征图进行卷积和转置卷积操作，得到去除污损的特征图；将所述融合特征图和所述去除污损的特征图进行叠加，得到叠加特征图；
16.将所述叠加特征图与所述权重图相乘，得到自适应图像；
17.将所述自适应图像与所述光污损图像相加，得到所述光污损图像的增强图像。
18.可选地，获取光污损图像，生成所述光污损图像的权重图包括：
19.将所述光污损图像转换为亮度图；
20.利用尺寸等于所述亮度图的全1矩阵减去所述亮度图，得到所述权重图。
21.可选地，训练所述对抗神经网络包括：
22.获取强光源点污染图像数据集和对应的高质量图像数据集组成的训练样本；
23.生成所述强光源点污染图像数据集中每张强光源点污染图像对应的权重图；
24.将所述强光源点污染图像数据集中的强光源点污染图像和所述对应的权重图成对输入待训练的对抗神经网络；
25.通过所述待训练的对抗神经网络的生成器，生成所述强光源点污染图像对应的生成图像；
26.根据所述生成图像和所述对应的高质量图像建立所述损失函数；
27.以最小化所述生成图像和所述对应的高质量图像之间的差异为目标，基于所述损失函数对所述待训练的对抗神经网络进行训练，得到所述对抗神经网络。
28.可选地，根据所述生成图像和所述对应的高质量图像建立所述损失函数包括：
29.根据所述生成图像和所述对应的高质量图像，建立对抗损失函数；
30.根据所述强光源点污染图像和所述生成图像，建立感知损失函数；
31.根据所述生成图像中的多个相邻区域的图像之间的平滑度，建立总变分损失函数；
32.根据所述对抗损失函数、所述感知损失函数和所述总变分损失函数，确定所述损失函数。
33.可选地，根据所述生成图像和所述对应的高质量图像，建立对抗损失函数包括：
34.通过所述待训练的对抗神经网络的判别器，利用所述高质量图像，判别所述生成图像为对应的高质量图像的概率，包括：
35.采用多尺度判别器，从不同卷积层不同感受野判别所述生成图像为对应的高质量图像的整体概率；
36.将所述生成图像裁剪为多个小图像，判别所述多个小图像为对应的高质量图像的小图像的局部概率；
37.利用所述整体概率，建立全局对抗损失函数；
38.利用所述局部概率，建立局部对抗损失函数。
39.可选地，所述方法包括：
40.通过以下公式建立所述对抗损失函数：
[0041][0042]
其中：l
g
表示所述对抗损失函数，d为所述判别器，x
g
表示所述生成图像，x
h
表示所述对应的高质量图像，d(x
g
)表示所述判别器对x
g
判定后得到的概率，d(x
h
)表示所述判别器对x
h
判定后得到的概率，表示x
g
是所述生成图像的分布之一，表示x
h
是所述
对应的高质量图像的分布之一；
[0043]
通过以下公式建立所述感知损失函数：
[0044][0045]
其中：σ
i，j
表示提取的特征，i
l
表示所述输入的所述强光源点污染图像，g(i
l
)表示所述生成图像，i，j表示第i个池化层后的第j个卷积操作，h
i，j
w
i，j
表示所述强光源点污染图像的特征图的尺寸；
[0046]
通过以下公式建立所述总变分损失函数：
[0047][0048]
其中：u表示生成图像中的某一块区域；j
tv
(u)表示区域u的总变分损失；
[0049]
通过以下公式确定所述损失函数：
[0050][0051]
其中：为所述局部对抗损失函数，为所述全局对抗损失函数，为局部感知损失函数，为全局感知损失函数，j
tv
为全局总变分损失函数。
[0052]
可选地，获取强光源点污染图像数据集和对应的高质量图像数据集组成的训练样本包括：
[0053]
利用普通相机和高光抑制相机在同等条件下摄取多张高光源场景下的图像，分别得到多对所述强光源点污染图像和对应的所述高质量图像；
[0054]
通过图像质量评估方法，对所述多对图像进行筛选，剔除不符合预设条件的图像对，得到所述强光源点污染图像数据集和对应的所述高质量图像数据集组成的训练样本。
[0055]
本发明实施例的第二方面，提供了一种光污损图像增强装置，所述装置包括：
[0056]
权重模块，用于获取光污损图像，生成所述光污损图像的权重图；
[0057]
输入模块，用于将所述光污损图像和所述权重图输入对抗神经网络；
[0058]
增强模块，用于通过所述对抗神经网络的生成器，生成所述光污损图像的增强图像；
[0059]
其中，所述对抗神经网络包含所述生成器和判别器；所述生成器引入局部注意力机制，以增强生成的图像中强光源点处的性能；所述判别器用于在训练所述对抗神经网络时，判别所述生成器生成的图像是否为对应的高质量图像，并借助损失函数和反向传播进行反馈，实现对抗学习优化生成器和鉴别器。
[0060]
可选地，训练所述对抗神经网络包括：
[0061]
获取强光源点污染图像数据集和对应的高质量图像数据集组成的训练样本；
[0062]
生成所述强光源点污染图像数据集中每张强光源点污染图像对应的权重图；
[0063]
将所述强光源点污染图像数据集中的强光源点污染图像和所述对应的权重图成对输入待训练的对抗神经网络；
[0064]
通过所述待训练的对抗神经网络的判别器，利用所述高质量图像，判别所述生成图像为对应的高质量图像的概率；
[0065]
根据所述生成图像和所述对应的高质量图像建立所述损失函数；
[0066]
以最小化所述生成图像和所述对应的高质量图像之间的差异为目标，基于所述损失函数对所述待训练的对抗神经网络进行训练，得到所述对抗神经网络。
[0067]
本发明实施例包括以下优点：
[0068]
本实施例中，可以获取光污损图像，生成所述光污损图像的权重图；将所述光污损图像和所述权重图输入对抗神经网络；通过所述对抗神经网络的生成器，生成所述光污损图像的增强图像；其中，所述对抗神经网络包含所述生成器和判别器；所述生成器引入局部注意力机制，以增强生成的图像中强光源点处的性能；所述判别器用于在训练所述对抗神经网络时，判别所述生成器生成的图像是否为对应的高质量图像，并借助损失函数和反向传播进行反馈，实现对抗学习优化生成器和鉴别器。如此，对抗神经网络是利用生成器和判别器对抗训练得到的，通过训练好的对抗神经网络的生成器可以生成的高质量的增强图像，增强图像具有曝光正常、可视性好等优点，从而通过对抗神经网络对光污损图像进行处理，即能增强光污损图像的可视性，又能处理其中的强光源点污染。
附图说明
[0069]
为了更清楚地说明本技术实施例的技术方案，下面将对本技术实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0070]
图1是本发明实施例中对抗神经网络的生成器的结构示意图；
[0071]
图2是本发明实施例中训练对抗神经网络的步骤流程图；
[0072]
图3是本发明实施例中一组图像和对应的权重图；
[0073]
图4是本技术实施例中判别器的结构示意图；
[0074]
图5是本发明实施例中局部判别的示意图；
[0075]
图6是本发明实施例中加入tv损失效果对比图；
[0076]
图7是本发明实施例中一种光污损图像增强方法的步骤流程图；
[0077]
图8是本发明实施例中一种光污损图像增强装置的结构示意图。
具体实施方式
[0078]
为使本技术的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本技术作进一步详细的说明。
[0079]
为解决相关技术中的低光图像增强技术不能对低光照和强光源点同时存在条件下强光源对图像造成能见度低、物体目标丢失等光污染现象进行有效处理的问题，申请人提出：训练一种对抗神经网络，通过该对抗神经网络来生成光污损图像的增强图像。
[0080]
其中，光污损图像是指具有强光源点污染的低光图像。本发明实施例提出的光污损图像增强方法尤其能够改善光污损图像的质量，且对于其它质量低的图像(例如没有强光源点污染的低光图像、峰值信噪比低的图像等)，也具有较好的改善作用。
[0081]
为了实施申请人提出的上述方法，申请人首先构建了待训练的对抗神经网络，并基于训练样本对该待训练的对抗神经网络进行训练，得到训练好的对抗神经网络，申请人利用该训练好的对抗神经网络执行上述方法中的部分或全部步骤。
[0082]
本发明中的对抗神经网络包括生成器和判别器，参照图1所示，示出了本发明实施例中一种对抗神经网络的生成器的结构示意图；如图1所示，上述生成器包括：下采样模块4，上采样模块5，特征融合模块6。
[0083]
图1中的1为输入图像，2为输入图像对应的权重图，3为输出图像，7为最后一次下采样得到的特征图。可以理解的是，在训练对抗神经网络的过程中，输入图像1为训练样本中的强光源点污染图像，输出图像3为生成图像；在使用训练好的对抗神经网络时，输入图像1为待增强的光污损图像，输出图像3为该待增强的光污损图像增强后的图像。
[0084]
可以理解的是，训练过程中神经网络的生成器和判别器之间互相对抗，以同时对生成器和判别器进行优化，在使用训练好的对抗神经网络对光污损图像进行增强时，仅仅需要使用训练好的生成器，而无需再进行判别。
[0085]
具体地，为了对待训练的对抗神经网络进行训练，以得到训练好的对抗神经网络，本技术一实施例提出如图2所示的训练对抗神经网络的步骤，参照图2，具体可以包括以下步骤：
[0086]
步骤s110：获取强光源点污染图像数据集和对应的高质量图像数据集组成的训练样本。
[0087]
为了使训练好的对抗神经网络可以对光污损图像进行增强，采用受到强光源点污染的图像和对应的高质量图像作为训练样本，以使训练好的对抗神经网络输出的图像可以尽可能地接近对应的高质量图像。
[0088]
可以采用图像质量评估方法对训练样本进行质量筛选以及对输出图像进行量化评估。图像质量的评估方法分为两类，对于有参考图像的图像，可以采用峰值信噪比psnr以及结构相似性ssim方法进行评估。psnr能够计算参考图像与处理后图像之间的均方误差大小程度，ssim能够对参考图像和增强图像在亮度、对比度、结构相似性三个角度进行衡量。对于没有参考图像的图像进行质量评估时，可以采用nima评估方法，nima是一个通过卷积神经网络在大型美感图像ava数据集上训练的能够有效评估图像美感的方法。
[0089]
可选地，作为一个实施例，步骤s110可以包括：
[0090]
1)利用普通相机和高光抑制相机在同等条件下摄取多张高光源场景下的图像，分别得到多对所述强光源点污染图像和对应的所述高质量图像；
[0091]
2)通过图像质量评估方法，对所述多对图像进行筛选，剔除不符合预设条件的图像对，得到所述强光源点污染图像数据集和对应的所述高质量图像数据集组成的训练样本。
[0092]
具体地，利用普通相机和高光抑制相机，在保证同位置、同光照环境、同分辨率以及相同成像时间的情况下摄取多个高光源场景下的图像，分别得到多对强光源点污染图像和对应的高质量图像。通过上述图像质量评估方法，筛选出多对图像，其中强光源点污染图像与对应的高质量图像相比，psnr值在20以下，ssim值在0.8以下，nima值在5以下。筛选出的强光源点污染图像质量低、可视性差、个别区域过度曝光；筛选出的高质量图像曝光正常、可视性高。
[0093]
可选地，psnr、ssim和nima并不是唯一指标，筛选出的成对图像符合人类对高低图像质量认知标准即可。
[0094]
采用本技术实施例的技术方案，强光源点污染图像数据集中的图像在强光源处过度曝光，可视性差；高质量图像数据集中的图像在图像强光源处有明显的抑制效果，具有可视性高、曝光正常等特点。通过图像质量评估方法，帮助筛选采集到的数据集，剔除不符合ssim、psnr和nima量化指标的图像对，得到的训练样本可以增强对抗神经网络生成图像的稳定性。
[0095]
步骤s120：生成所述强光源点污染图像数据集中每张强光源点污染图像对应的权重图。
[0096]
针对每一张强光源点污染图像数据集中的图像，生成一张对应的权重图，包括：
[0097]
1)通过公式为y(亮度)＝(0.299*r) (0.587*g) (0.114*b)，将输入的rgb强光源点污染图像转为对应的亮度图；
[0098]
2)利用尺寸等于该亮度图的全1矩阵减去该亮度图得到对应的权重图，即权重图l＝1
‑
y。
[0099]
强光源点污染图像是进行过归一化处理的图像，计算亮度图时直接利用归一化处理后的强光源点污染图像进行计算。参照图3，示出了一组图像和对应的权重图。权重图和对应的图像的亮度相反，在权重图中亮度越高的区域，对应的图像的该区域亮度越低，生成器增强对应的图像的该区域的亮度，在权重图中亮度越低的区域，对应的图像的该区域亮度越高，生成器抑制对应的图像的该区域的亮度。即，对应暗区增强，对应亮区降低。
[0100]
步骤s130：将所述强光源点污染图像数据集中的强光源点污染图像和所述对应的权重图成对输入待训练的对抗神经网络。
[0101]
步骤s140：通过所述待训练的对抗神经网络的生成器，生成所述强光源点污染图像对应的生成图像。
[0102]
生成器分别由3个下采样块和3个上采样块组成，每个下采样块包含一个卷积模块，每个卷积模块包含二维卷积、二维正则化、lrelu非线性激活函数。卷积核大小、步长、padding(内边距)分别为3，1，1。每个上采样块包含一次双线性插值操作以及一个卷积模块，双线性插值目的在于将下采样得到的特征图恢复到原始输入图像的尺寸。
[0103]
因为每次下采样后得到的特征图通道维度翻倍，上采样后得到的特征通道维度减半，所以每一次上采样操作都有与之对应的下采样保持对称，即上采样块和下采样块的个数相同。本发明中，图像的特征是通过卷积得到的，在卷积过程中通过步长控制，在获取图像特征的同时，实现了上采样和下采样。
[0104]
利用下采样块中的卷积操作对强光源点污染图像进行处理，得到强光源点污染图像的特征图。对最后一次下采样得到的强光源点污染图像的特征图进行上采样，得到去除污损的强光源点污染图像的特征图。在构建生成器时，为了生成优质的图像，还引入了特征融合机制和注意力机制。
[0105]
特征融合机制将下采样得到的不同尺寸的特征图使用卷积核大小为1，3，5，7的进行卷积操作，通过padding操作得到尺寸一样的特征图，方便后续进行拼接，得到不同感受野的特征图后将所有特征图进行拼接，在经非线性激活函数relu以及规范化instancenorm操作后与上采样中同尺寸的特征图进行通道维度的叠加。由于上下采样操作的对称性，下
采样中得到特征图经特征融合后可以与对应的上采样层的特征图叠加，有效提升生成器生成图片的可视性。
[0106]
特征融合机制从不同尺寸的特征图中采用不同大小的卷积核进行卷积，得到不同感受野的特征图，最后将所有特征图拼接融合，与现有的特征融合机制相比，增加了不同大小的卷积核的卷积操作，使得网络对输入图像局部、全局信息都有所关注。
[0107]
针对低光环境下拍摄的强光源点图像，注意力机制能有效引导生成器赋予图像中像素暗的区域更高的生成权值，而对于过亮的区域进行抑制。
[0108]
本系统中注意力机制的使用方式为，将权重图与生成器上采样块中卷积操作得到的特征图相乘。本发明中使用的注意力机制表现为从图像亮度出发考虑的权重图，使得对抗神经网络更加关注强光源污损处图像的恢复。生成器引入局部注意力机制，通过生成器对强光源局部生成细节的关注，增强生成器生成的图像中强光源点处的性能。
[0109]
将生成器生成的图像与输入的图像，进行像素间的求和操作，求和操作后得到图像即为最终生成的图像，相对于通过生成器直接生成图像，具有训练难度更小、得到的图像不易出现颜色失真的优点。
[0110]
步骤s150：根据所述生成图像和所述对应的高质量图像建立所述损失函数。
[0111]
生成器并不会凭空恢复强光源点污染图像，为了使生成器生成的图像向着对应的高质量图像的特征接近，需要设置损失函数对生成器进行引导。损失函数的自变量为生成器生成的图像和对应的高质量参考图像，函数结果为两自变量在该损失函数上的差值。设置损失函数可以使生成器向损失变小的方向进行优化，即逼近参考图像。
[0112]
可选地，作为一个实施例，步骤s150包括：
[0113]
1)根据所述生成图像和所述对应的高质量图像，建立对抗损失函数；
[0114]
2)根据所述强光源点污染图像和所述生成图像，建立感知损失函数；
[0115]
3)根据所述生成图像中的多个相邻区域的图像之间的平滑度，建立总变分损失函数；
[0116]
4)根据所述对抗损失函数、所述感知损失函数和所述总变分损失函数，确定所述损失函数。
[0117]
在这些损失函数中，对抗损失函数采用相对鉴别损失(relativistic discriminator)，感知损失函数(vgg损失函数)可以保持输入图像和目标图像间的感知相似度，对于vgg损失，采用在imagenet数据集上预训练后的vgg模型计算vgg损失。总变分损失函数(tv损失函数)可以缓解生成器放大输入图像噪声的情况，加入tv损失效果前后如图6所示，其中6.1为输入图像，6.2为加入总变分损失前的生成图像，6.3为加入总编分损失后的生成图像。6.1及6.2中，下方图像为上方图像中方框部分的放大显示，可以明显看出加入总变分损失后的生成图像噪点情况被明显改善。
[0118]
可选地，作为一个实施例，根据所述生成图像和所述对应的高质量图像，建立对抗损失函数包括：
[0119]
通过所述待训练的对抗神经网络的判别器，利用所述高质量图像，判别所述生成图像为对应的高质量图像的概率，包括：
[0120]
1)采用多尺度判别器，从不同卷积层不同感受野判别所述生成图像为对应的高质量图像的整体概率；
[0121]
2)将所述生成图像裁剪为多个小图像，判别所述多个小图像为对应的高质量图像的小图像的局部概率；
[0122]
3)利用所述整体概率，建立全局对抗损失函数；
[0123]
4)利用所述局部概率，建立局部对抗损失函数。
[0124]
如图4所示，示出了判别器的结构示意图。判别器是一个由二维卷积构成的判别网络，整体结构类似于生成器中的下采样结构。判别器由5个卷积块组成，如图4中的组件2所示，判别器输出矩阵3中的每个值对应输入图像1中某块区域判别器判别的结果，值越大，表示判别器判定该区域为高质量图像区域的可能性越高，判别为低质量图像的可能性越低。
[0125]
具体地，判别器的输入为生成器最终生成的图像，输出为该图像为真实图像的概率，概率分布在0％～100％之间，即判别网络试图分辨出图像为真实图像的可信程度，以利用所述概率建立对抗损失函数。
[0126]
训练初始时，生成器生成的图像质量较差，很容易被判别器识别出是生成器生成的图片，随着训练数据集的迭代，生成器通过判别器鉴别反馈的结果，通过损失的反向传播，逐渐生成更加高质量图像，判别器不断鉴别图像的同时提升鉴别图像的能力。生成器和判别器之间是一种对抗的关系，二者能力随着对抗神经网络的训练迭代过程逐渐增强。
[0127]
如图5所示的局部判别示意图，将所述生成图像裁剪为多个小图像，判别多个小图像为对应的高质量图像的小图像的局部概率，相对于判别整个图像而言，局部判别将生成图像中像素值最大的多个的区域(图5左图中的方框部分)裁剪为多个小图像(图5右图中的局部图像)输入判别器。局部判别增强了生成器对强光源局部生成细节的关注，增强了生成器恢复图像中强光源点处的效果。
[0128]
采用本技术实施例的技术方案，通过对生成图像的整体和局部分别进行判别，能够提高判别结果的准确性，通过损失的反向传播，可以促使生成器生成更加高质量的图像，反过来生成器生成更加高质量的图像也会促使判别器提高判别能力；如此，训练好的对抗神经网络可以生成更加优质的增强图像。
[0129]
可选地，作为一个实施例，可以通过以下方法建立各损失函数：
[0130]
通过以下公式建立对抗损失函数：
[0131][0132]
其中：l
g
表示对抗损失函数，d为判别器，x
g
表示生成图像，x
h
表示对应的高质量图像，d(x
g
)表示判别器对x
g
判定后得到的概率，d(x
h
)表示判别器对x
h
判定后得到的概率，表示x
g
是生成图像的分布之一，表示x
h
是对应的高质量图像的分布之一。通过对抗损失函数，可以引导生成器和判别器之间互相对抗，从而同时对生成器和判别器进行优化，使训练好的生成器生成的图像即使在训练好的判别器的判别之下，得到的判别结果为对应的高质量图像的概率也较高。如此，训练好的生成器生成的图像质量也更高，训练好的对抗神经网络也能更加优质地处理光污损图像，得到更加优质的增强图像。
[0133]
通过以下公式建立感知损失函数：
[0134]
[0135]
其中：σ
i，j
表示从预训练vgg模型中提取的特征，i
l
表示输入的图像，g(i
l
)表示输出的生成图像，i，j表示vgg模型第i个池化层后的第j个卷积操作，h
i，j
w
i，j
表示所述特征图的尺寸；与局部判别器相同，vgg损失同样采用局部损失的方法。通过感知损失函数，可以使从输出的生成图像中提取的特征，尽可能地保留输入的强光源点污染图像的特征，以避免输出图像丢失输入图像的有用信息。
[0136]
通过以下公式建立总变分损失函数：
[0137][0138]
其中：u表示生成图像中的某一块区域；j
tv
(u)表示所述总变分损失函数。为了避免因为噪声被放大，导致生成图像中的相邻区域间的像素值差异过大的情况，采用tv损失，可以使相邻区域件的像素值过渡平滑，从而通过差分平滑的思想减轻了噪声被放大的情况，使生成图像的质量更高。
[0139]
通过以下公式确定损失函数：
[0140][0141]
其中：为局部对抗损失函数，为全局对抗损失函数，为局部感知损失函数，为全局感知损失函数，j
tv
为全局总变分损失函数。损失函数同时采用局部和全局的对抗损失函数及感知损失函数，可以综合生成图像的局部和整体情况，使在损失函数的引导下，生成器生成的图像可以从局部和整体两方面进行优化，从而得到更加优质的生成图像。
[0142]
可以理解的是，建立局部对抗损失函数和全局对抗损失函数的方法和建立对抗损失函数的方法类似，建立局部对抗损失函数的公式中使用到的图像分别为生成图像的局部图像和对应的高质量图像的局部图像，建立全局对抗损失函数的公式中使用到的图像分别为生成图像的整个图像和对应的高质量图像的整个图像。同理，建立局部感知损失函数和全局感知损失函数的方法和建立感知损失函数的方法类似。
[0143]
步骤s160：以最小化所述生成图像和所述对应的高质量图像之间的差异为目标，基于所述损失函数对所述待训练的对抗神经网络进行训练，得到所述对抗神经网络。
[0144]
使生成图像的特征尽可能地贴合对应的高质量图像的特征，以最小化二者之间的差异为目标，基于损失函数对待训练的对抗神经网络进行训练，直到训练结果收敛或达到预设训练次时停止训练，得到所述对抗神经网络。
[0145]
采用本技术实施例的技术方案，可以利用采集的训练样本，对对抗神经网络进行训练，使对抗神经网络中的生成器和判别器之间相互对抗，从而优化生成器和判别器的参数设置，以得到训练好的对抗神经网络；如此，利用训练好的对抗神经网络，可以对光污损图像进行处理，从而得到高质量的增强图像。
[0146]
可选地，作为一个实施例，参照图7，示出了一种光污损图像增强方法的步骤流程图，如图7所示，该光污损图像增强方法具体可以包括以下步骤：
[0147]
步骤s210：获取光污损图像，生成所述光污损图像的权重图。
[0148]
可选地，作为一个实施例，生成所述光污损图像的权重图包括：将所述光污损图像
转换为亮度图；利用尺寸等于所述亮度图的全1矩阵减去所述亮度图，得到所述权重图。
[0149]
通过公式为y(亮度)＝(0.299*r) (0.587*g) (0.114*b)，将输入的rgb光污损图像转为对应的亮度图；利用尺寸等于该亮度图的全1矩阵减去该亮度图得到对应的权重图，即权重图l＝1
‑
y。
[0150]
步骤s220：将所述光污损图像和所述权重图输入对抗神经网络。
[0151]
步骤s230：通过所述对抗神经网络的生成器，生成所述光污损图像的增强图像；其中，所述对抗神经网络包含所述生成器和判别器；所述生成器引入局部注意力机制，以增强生成的图像中强光源点处的性能；所述判别器用于在训练所述对抗神经网络时，判别所述生成器生成的图像是否为对应的高质量图像，并借助损失函数和反向传播进行反馈，实现对抗学习优化生成器和鉴别器。
[0152]
步骤s230可以参照步骤s140。
[0153]
可选地，作为一个实施例，步骤s230包括：
[0154]
1)对所述光污损图像进行下采样，得到多张不同尺寸的所述光污损图像的特征图；
[0155]
2)将所述多张不同尺寸的特征图进行不同卷积核大小的卷积操作，得到多张待拼接的特征图；
[0156]
3)将所述多张待拼接的特征图进行特征融合，得到融合特征图；
[0157]
4)对最后一次下采样得到的所述光污损图像的特征图进行进行卷积和转置卷积操作，得到去除污损的特征图；
[0158]
5)将所述融合特征图和所述去除污损的特征图进行叠加，得到叠加特征图；
[0159]
6)将所述叠加特征图与所述权重图相乘，得到自适应图像；
[0160]
7)将所述自适应图像与所述光污损图像相加，得到所述光污损图像的增强图像。
[0161]
可以理解的是，训练好的神经网络和训练时的神经网络中的生成器生成图像的方法是类似的，区别只在于神经网络中的各参数设置不同，而训练神经网络的过程正是为了优化该各参数。因此，此处不再赘述利用训练好的神经网络生成光污损图像的增强图像的详细方法，相关之处参照训练时的神经网络生成图像的方法即可。
[0162]
采用本技术实施例的技术方案，可以利用对抗神经网络对光污损的图像进行增强，该对抗神经网络是通过生成器和判别器对抗训练而成的，能够生成接近真实的高质量图像的增强图像。因此，针对具有强光源点污染的低光照图像，可以生成可视性高的高质量增强图像。
[0163]
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
[0164]
图8是本发明实施例的一种光污损图像增强装置的结构示意图，如图8所示，一种光污损图像增强装置，包括权重模块、输入模块和增强模块，其中：
[0165]
权重模块，用于获取光污损图像，生成所述光污损图像的权重图；
[0166]
输入模块，用于将所述光污损图像和所述权重图输入对抗神经网络；
[0167]
增强模块，用于通过所述对抗神经网络的生成器，生成所述光污损图像的增强图像；
[0168]
其中，所述对抗神经网络包含所述生成器和判别器；所述生成器引入局部注意力机制，以增强生成的图像中强光源点处的性能；所述判别器用于在训练所述对抗神经网络时，判别所述生成器生成的图像是否为对应的高质量图像，并借助损失函数和反向传播进行反馈，实现对抗学习优化生成器和鉴别器。
[0169]
可选地，作为一个实施例，所述增强模块包括：
[0170]
下采样子模块，用于对所述光污损图像进行下采样，得到所述光污损图像的特征图；
[0171]
卷积子模块，用于将所述多张不同尺寸的特征图进行不同卷积核大小的卷积操作，得到多张待拼接的特征图；
[0172]
融合子模块，用于将所述多张待拼接的特征图进行特征融合，得到融合特征图；
[0173]
去除污损子模块，用于对最后一次下采样得到的所述光污损图像的特征图进行进行卷积和转置卷积操作，得到去除污损的特征图；
[0174]
叠加子模块，用于将所述融合特征图和最后一次上采样得到的所述去除污损的特征图进行叠加，得到叠加特征图；
[0175]
相乘子模块，用于将所述叠加特征图与所述权重图相乘，得到自适应图像；
[0176]
相加子模块，用于将所述自适应图像与所述光污损图像相加，得到所述光污损图像的增强图像。
[0177]
可选地，作为一个实施例，所述权重模块包括：
[0178]
亮度子模块，用于将所述光污损图像转换为亮度图；
[0179]
权重子模块，用于利用尺寸等于所述亮度图的全1矩阵减去所述亮度图，得到所述权重图。
[0180]
可选地，作为一个实施例，训练所述对抗神经网络包括：
[0181]
获取强光源点污染图像数据集和对应的高质量图像数据集组成的训练样本；
[0182]
生成所述强光源点污染图像数据集中每张强光源点污染图像对应的权重图；
[0183]
将所述强光源点污染图像数据集中的强光源点污染图像和所述对应的权重图成对输入待训练的对抗神经网络；
[0184]
通过所述待训练的对抗神经网络的生成器，生成所述强光源点污染图像对应的生成图像；
[0185]
根据所述生成图像和所述对应的高质量图像建立损失函数；
[0186]
以最小化所述生成图像和所述对应的高质量图像之间的差异为目标，基于所述损失函数对所述待训练的对抗神经网络进行训练，得到所述对抗神经网络。
[0187]
可选地，作为一个实施例，根据所述生成图像和所述对应的高质量图像建立损失函数包括：
[0188]
根据所述生成图像和所述对应的高质量图像，建立对抗损失函数；
[0189]
根据所述强光源点污染图像和所述生成图像，建立感知损失函数；
[0190]
根据所述生成图像中的多个相邻区域的图像之间的平滑度，建立总变分损失函数；
[0191]
根据所述对抗损失函数、所述感知损失函数和所述总变分损失函数，确定所述损失函数。
[0192]
可选地，作为一个实施例，根据所述生成图像和所述对应的高质量图像，建立对抗损失函数包括：
[0193]
通过所述待训练的对抗神经网络的判别器，利用所述高质量图像，判别所述生成图像为对应的高质量图像的概率，包括：
[0194]
采用多尺度判别器，从不同卷积层不同感受野判别所述生成图像为对应的高质量图像的整体概率；
[0195]
将所述生成图像裁剪为多个小图像，判别所述多个小图像为对应的高质量图像的小图像的局部概率；
[0196]
利用所述整体概率，建立全局对抗损失函数；
[0197]
利用所述局部概率，建立局部对抗损失函数。
[0198]
可选地，作为一个实施例，通过以下公式建立各损失函数：
[0199][0200]
其中：l
g
表示所述对抗损失函数，d为所述判别器，x
g
表示所述生成图像，x
h
表示所述对应的高质量图像，d(x
g
)表示所述判别器对x
g
判定后得到的概率，d(x
h
)表示所述判别器对x
h
判定后得到的概率，表示x
g
是所述生成图像的分布之一，表示x
h
是所述对应的高质量图像的分布之一；
[0201]
通过以下公式建立所述感知损失函数：
[0202][0203]
其中：σ
i，j
表示提取的特征，i
l
表示所述输入的强光源点污染图像，g(i
l
)表示输出的图像，i，j表示vgg模型第i个池化层后的第j个卷积操作，h
i，j
w
i，j
表示所述特征图的尺寸；
[0204]
通过以下公式建立所述总变分损失函数：
[0205][0206]
其中：u表示生成图像中的某一块区域；j
tv
(u)表示所述总变分损失函数；
[0207]
通过以下公式确定所述损失函数：
[0208][0209]
其中：为局部对抗损失函数，为全局对抗损失函数，为局部感知损失函数，为全局感知损失函数，j
tv
为全局总变分损失函数。
[0210]
可选地，作为一个实施例，获取强光源点污染图像数据集和对应的高质量图像数据集组成的训练样本包括：
[0211]
利用普通相机和高光抑制相机在同等条件下摄取多张高光源场景下的图像，分别
得到多对所述强光源点污染图像和对应的所述高质量图像；
[0212]
通过图像质量评估方法，对所述多对图像进行筛选，剔除不符合预设条件的图像对，得到所述强光源点污染图像数据集和对应的所述高质量图像数据集组成的训练样本。
[0213]
采用本技术实施例的技术方案，可以利用采集的训练样本，对对抗神经网络进行训练，使对抗神经网络中的生成器和判别器之间相互对抗，从而优化生成器和判别器的参数设置，以得到训练好的对抗神经网络；利用训练好的对抗神经网络对光污损的图像进行增强，该对抗神经网络是通过生成器和判别器对抗训练而成的，能够生成接近真实的高质量图像的增强图像。因此，针对具有强光源点污染的低光照图像，可以生成可视性高的高质量增强图像。
[0214]
需要说明的是，装置实施例与方法实施例相近，故描述的较为简单，相关之处参见方法实施例即可。
[0215]
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
[0216]
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。
[0217]
本发明实施例是参照根据本发明实施例的方法、装置、电子设备和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0218]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0219]
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0220]
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
[0221]
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在
涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
[0222]
以上对本技术所提供的一种光污损图像增强方法及装置，进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的一般技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本技术的限制。