一种红外与可见光图像融合系统及方法与流程

技术特征：
1.一种红外与可见光图像融合系统，其特征在于，包括分别用于提取红外图像和可见光图像特征的多尺度特征提取单元、位于多尺度特征提取单元后的特征筛选单元和图像重构单元；所述多尺度特征提取单元，用于分别对红外图像和可见光图像进行多层空洞卷积处理得到红外图像和可见光图像对应的多尺度特征；所述特征筛选单元，基于双重注意机制，对多尺度特征提取单元提取的多尺度特征进行筛选；所述图像重构单元，用于将筛选后的红外图像特征和可见光图像特征进行融合。2.根据权利要求1所述的红外与可见光图像融合系统，其特征在于，所述多尺度特征提取单元包括输入层和膨胀率依次递增的多层级联的稠密空洞卷积模块；所述输入层用于分别对红外图像和可见光图像进行原始特征提取；所述稠密空洞卷积模块用于对输入的特征进行空洞卷积处理；后一层稠密空洞卷积模块的输入由当前层之前的所有稠密空洞卷积模块的输出及输入层提取的原始特征在通道维度进行拼接得到。3.根据权利要求1所述的红外与可见光图像融合系统，其特征在于，所述特征筛选单元包括连续的eca net模块和空间子模块；所述eca net模块和空间子模块的输入数据补偿连接到输出端相加。4.根据权利要求2所述的红外与可见光图像融合系统，其特征在于，所述图像重构单元包括若干连续的卷积层；将多尺度特征提取单元除最后一层稠密空洞卷积模块以外其他稠密空洞卷积模块的通道拼接输出跳跃连接引入图像重构单元对称的卷积层。5.根据权利要求1至4任一项权利要求所述的红外与可见光图像融合系统，其特征在于，还包括参数优化单元，用于依据图像重构单元得到的红外图像和可见光图像的融合图像，按照以下损失函数获取损失值，再基于梯度下降算法对系统参数进行优化：损失函数公式如下：l
total
＝λ1l
pixel
l
ssim
ꢀꢀꢀ
(6)式中，λ1表示等系数，用于平衡各损失权重，l
pixel
表示融合图像和源图间的像素差异，l
ssim
表示融合图像和源图间的结构相似性。6.根据权利要求5所述的红外与可见光图像融合系统，其特征在于，l
pixel
按照以下公式确定：式中，i
ir
、i
vis
和o分别表示输入红外图像矩阵、可见光图像矩阵和融合图像矩阵，w
ir
表示用于动态衡量i
ir
损失部分的自适应图像权重，表示f范数的平方；l
ssim
按照以下公式确定：l
ssim
＝w
ir
[1-ssim(o，i
ir
)] (1-w
ir
)[1-ssim(o，i
vis
)]
ꢀꢀꢀꢀ
(8)式中，ssim(
·
)计算图像间的结构相似性；自适应图像权重w
ir
可以表述为：其中，en
ir
和iqa
ir
分别表示图像对中的红外图像的信息量和质量，k取ir或vis，λ2为给
定系数，最终生成的权重w
ir
影响损失项来约束网络逼近最佳融合性能学习；使用图像二维熵来度量其信息量，公式如下：式中，(j，m)表示一个二元组，由图像中第j个像素位置的灰度值及其邻域内m个像素的灰度均值组成，二元组通过矩形窗口的采样形式在图像上获取，p
jm
表示(j，m)在图像中获取的所有二元组内出现的频率比，size＝c*h*w表示总像素个数，c表示通道数，h表示图像的高，w表示图像的宽。7.一种红外与可见光图像融合方法，其特征在于，包括以下步骤：s1分别对红外图像和可见光图像进行多层空洞卷积处理得到红外图像和可见光图像对应的多尺度特征；s2基于双重注意机制，对提取的多尺度特征进行筛选，从而分别对红外图像和可见光图像特征权重进行调整；s3将步骤s2筛选出的红外图像特征和可见光图像特征进行融合处理，输出红外图像和可见光图像的融合图像。8.根据权利要求7所述的红外与可见光图像融合方法，其特征在于，步骤s1中，后一层空洞卷积处理的输入由当前空洞卷积处理之前的所有空洞卷积处理输出及红外图像或可见光图像原始特征在通道维度上进行拼接得到。9.根据权利要求7所述的红外与可见光图像融合方法，其特征在于，所述双重注意机制包括通道注意力机制和空间注意力机制，基于通道注意力机制和空间注意力机制处理的输入数据补偿相加到输出数据。10.根据权利要求8所述的红外与可见光图像融合方法，其特征在于，步骤s3中，将步骤s2筛选出的红外图像特征和可见光图像特征经多次连续卷积处理得到融合图像；融合过程中，将步骤s1中除最后一层空洞卷积处理之外的其他各级空洞卷积处理结果拼接输出跳跃连接引入本步骤对称的卷积处理中。

技术总结
本发明公开了一种红外与可见光图像融合系统及方法，该图像融合系统包括分别用于提取红外图像和可见光图像特征的多尺度特征提取单元、位于多尺度特征提取单元后的特征筛选单元和图像重构单元。首先通过多尺度特征提取单元分别提取红外图像和可见光图像的多尺度特征，然后通过双重注意力机制对多尺度特征进行特征筛选，再由图像重构单元完成图像融合，从而得到细节清晰的红外和可见光融合图像。而得到细节清晰的红外和可见光融合图像。而得到细节清晰的红外和可见光融合图像。


技术研发人员：胡博 袁浩宾 赵涛 钟羽中 尹艳杰 佃松宜 李胜川 周桂平 李勇 郭锐 刘佳鑫
受保护的技术使用者：四川大学 国网山东省电力公司
技术研发日：2021.11.16
技术公布日：2022/3/15