一种基于对抗网络的道路交通光污损图像增强方法及装置与流程

技术特征：
1.一种光污损图像增强方法，其特征在于，所述方法包括：获取光污损图像，生成所述光污损图像的权重图；将所述光污损图像和所述权重图输入对抗神经网络；通过所述对抗神经网络的生成器，生成所述光污损图像的增强图像；其中，所述对抗神经网络包含所述生成器和判别器；所述生成器引入局部注意力机制，以增强生成的图像中强光源点处的性能；所述判别器用于在训练所述对抗神经网络时，判别所述生成器生成的图像是否为对应的高质量图像，并借助损失函数和反向传播进行反馈，实现对抗学习优化生成器和鉴别器。2.根据权利要求1所述的方法，其特征在于，所述对抗神经网络的生成器生成所述光污损图像的增强图像包括：对所述光污损图像进行下采样，得到多张不同尺寸的所述光污损图像的特征图；将所述多张不同尺寸的特征图进行不同卷积核大小的卷积操作，得到多张待拼接的特征图；将所述多张待拼接的特征图进行特征融合，得到融合特征图；对最后一次下采样得到的所述光污损图像的特征图进行卷积和转置卷积操作，得到去除污损的特征图；将所述融合特征图和所述去除污损的特征图进行叠加，得到叠加特征图；将所述叠加特征图与所述权重图相乘，得到自适应图像；将所述自适应图像与所述光污损图像相加，得到所述光污损图像的增强图像。3.根据权利要求1所述的方法，其特征在于，获取光污损图像，生成所述光污损图像的权重图包括：将所述光污损图像转换为亮度图；利用尺寸等于所述亮度图的全1矩阵减去所述亮度图，得到所述权重图。4.根据权利要求1所述的方法，其特征在于，训练所述对抗神经网络包括：获取强光源点污染图像数据集和对应的高质量图像数据集组成的训练样本；生成所述强光源点污染图像数据集中每张强光源点污染图像对应的权重图；将所述强光源点污染图像数据集中的强光源点污染图像和所述对应的权重图成对输入待训练的对抗神经网络；通过所述待训练的对抗神经网络的生成器，生成所述强光源点污染图像对应的生成图像；根据所述生成图像和所述对应的高质量图像建立所述损失函数；以最小化所述生成图像和所述对应的高质量图像之间的差异为目标，基于所述损失函数对所述待训练的对抗神经网络进行训练，得到所述对抗神经网络。5.根据权利要求4所述的方法，其特征在于，根据所述生成图像和所述对应的高质量图像建立所述损失函数包括：根据所述生成图像和所述对应的高质量图像，建立对抗损失函数；根据所述强光源点污染图像和所述生成图像，建立感知损失函数；根据所述生成图像中的多个相邻区域的图像之间的平滑度，建立总变分损失函数；根据所述对抗损失函数、所述感知损失函数和所述总变分损失函数，确定所述损失函
数。6.根据权利要求5所述的方法，其特征在于，根据所述生成图像和所述对应的高质量图像，建立对抗损失函数包括：通过所述待训练的对抗神经网络的判别器，利用所述高质量图像，判别所述生成图像为对应的高质量图像的概率，包括：采用多尺度判别器，从不同卷积层不同感受野判别所述生成图像为对应的高质量图像的整体概率；将所述生成图像裁剪为多个小图像，判别所述多个小图像为对应的高质量图像的小图像的局部概率；利用所述整体概率，建立全局对抗损失函数；利用所述局部概率，建立局部对抗损失函数。7.根据权利要求5所述的方法，其特征在于，所述方法包括：通过以下公式建立所述对抗损失函数：其中：l
g
表示所述对抗损失函数，d为所述判别器，x
g
表示所述生成图像，x
h
表示所述对应的高质量图像，d(x
g
)表示所述判别器对x
g
判定后得到的概率，d(x
h
)表示所述判别器对x
h
判定后得到的概率，表示x
g
是所述生成图像的分布之一，表示x
h
是所述对应的高质量图像的分布之一；通过以下公式建立所述感知损失函数：其中：σ
i，j
表示提取的特征，i
l
表示所述输入的所述强光源点污染图像，g(i
l
)表示所述生成图像，i，j表示第i个池化层后的第j个卷积操作，h
i，j
w
i，j
表示所述强光源点污染图像的特征图的尺寸；通过以下公式建立所述总变分损失函数：其中：u表示生成图像中的某一块区域；j
tv
(u)表示所述总变分损失函数；通过以下公式确定所述损失函数：其中：为所述局部对抗损失函数，为所述全局对抗损失函数，为局部感知损失函数，为全局感知损失函数，j
tv
为全局总变分损失函数。8.根据权利要求4所述的方法，其特征在于，获取强光源点污染图像数据集和对应的高质量图像数据集组成的训练样本包括：利用普通相机和高光抑制相机在同等条件下摄取多张高光源场景下的图像，分别得到
多对所述强光源点污染图像和对应的所述高质量图像；通过图像质量评估方法，对所述多对图像进行筛选，剔除不符合预设条件的图像对，得到所述强光源点污染图像数据集和对应的所述高质量图像数据集组成的训练样本。9.一种光污损图像增强装置，其特征在于，所述装置包括：权重模块，用于获取光污损图像，生成所述光污损图像的权重图；输入模块，用于将所述光污损图像和所述权重图输入对抗神经网络；增强模块，用于通过所述对抗神经网络的生成器，生成所述光污损图像的增强图像；其中，所述对抗神经网络包含所述生成器和判别器；所述生成器引入局部注意力机制，以增强生成的图像中强光源点处的性能；所述判别器用于在训练所述对抗神经网络时，判别所述生成器生成的图像是否为对应的高质量图像，并借助损失函数和反向传播进行反馈，实现对抗学习优化生成器和鉴别器。10.根据权利要求9所述的装置，其特征在于，训练所述对抗神经网络包括：获取强光源点污染图像数据集和对应的高质量图像数据集组成的训练样本；生成所述强光源点污染图像数据集中每张强光源点污染图像对应的权重图；将所述强光源点污染图像数据集中的强光源点污染图像和所述对应的权重图成对输入待训练的对抗神经网络；通过所述待训练的对抗神经网络的判别器，利用所述高质量图像，判别所述生成图像为对应的高质量图像的概率；根据所述生成图像和所述对应的高质量图像建立所述损失函数；以最小化所述生成图像和所述对应的高质量图像之间的差异为目标，基于所述损失函数对所述待训练的对抗神经网络进行训练，得到所述对抗神经网络。

技术总结
本申请提供了一种光污损图像增强方法及装置，涉及计算机应用技术领域和交通领域，旨在既能增强低光图像，又能处理强光源点污染的图像增强恢复。所述方法包括：获取光污损图像，生成所述光污损图像的权重图；将所述光污损图像和所述权重图输入对抗神经网络；通过所述对抗神经网络的生成器，生成所述光污损图像的增强图像；其中，所述对抗神经网络包含所述生成器和判别器；所述生成器引入局部注意力机制，以增强生成的图像中强光源点处的性能；所述判别器用于在训练所述对抗神经网络时，判别所述生成器生成的图像为是否为对应的高质量图像，并借助损失函数和反向传播进行反馈，实现对抗学习优化生成器和鉴别器。学习优化生成器和鉴别器。学习优化生成器和鉴别器。


技术研发人员：兰时勇 黄伟康 马一童 李劲
受保护的技术使用者：四川大学
技术研发日：2021.07.12
技术公布日：2021/11/2