基于特征循环融合的多帧红外图像超分辨率方法和系统与流程

1.本发明实施例涉及光学图像处理技术领域，尤其涉及一种基于特征循环融合的多帧红外图像超分辨率方法和系统。


背景技术：

2.红外线的波长在0.76um
‑
1000um之间，可按波长分为近红外线、长红外线、远红外线。从近红外线到远红外线，波长依次增大，能量依次减小。长波长红外线是热成像的区域，热像仪利用热而不是可见光产生图像。红外热成像技术在工业控制、电力检测、安防监控等领域有着重要的作用，但是红外热成像所用探测器像元尺寸进一步减小困难，红外热成像系统受衍射极限制约，以及成像过程中复杂噪声的影响，红外热成像目前还存在成像分辨率低、信噪比小等缺点。
3.基于多幅图像的超分辨率可以比单幅图像引入更多的先验知识，对于多帧红外图像超分辨率，有研究组提出基于微扫描成像的图像超分辨率重建技术。微扫描需要与硬件结构配合得到具有微小位移的图像序列，融合序列图像来提高成像质量。微扫描法要求多帧图像之间是亚像素位移，对硬件结构的精度要求极高，且成像场景不存在局部移动。


技术实现要素：

4.本发明实施例提供一种基于特征循环融合的多帧红外图像超分辨率方法和系统，使用了循环融合特征的机制，按照输入帧的顺序依次循环融合特征，并将融合结果传至下一次循环进行信息的传递，对输入低分辨率红外图像的数量、大小并没有限制，输入任意帧数红外图像，都可以得到相对高分辨率的结果。
5.第一方面，本发明实施例提供一种基于特征循环融合的多帧红外图像超分辨率方法，包括：
6.步骤s1、将高分辨率红外图像序列缩小为低分辨率红外图像序列；
7.步骤s2、将所述低分辨率红外图像序列输入至超分辨率网络进行训练，以对所述低分辨率红外图像序列进行特征图提取、特征图融合及图像重建，对重建后的图像进行上采样，得到高分辨率红外特征图序列；
8.步骤s3、将所述高分辨率红外特征图序列和所述低分辨率红外图像序列双三次差值进行相加，得到超分辨率重建结果。
9.作为优选的，还包括：
10.步骤s4、确定所述超分辨率重建结果与所述高分辨率红外图像序列之间的损失，基于梯度下降法优化所述超分辨率网络的网络参数，重复训练所述步骤s1至所述步骤s3，直至达到预设迭代次数。
11.作为优选的，还包括：
12.步骤s5、基于所述超分辨率网络对输入的低分辨率红外图像序列进行超分辨率处理，以获取测试结果图。
13.作为优选的，所述步骤s1具体包括：
14.对高分辨率红外图像序列进行下采样，并进行数据增强，得到翻转、旋转后的低分辨率红外图像。
15.作为优选的，所述步骤s2具体包括：
16.步骤s21、将所述低分辨率红外图像序列输入至超分辨率网络，基于所述超分辨率网络的特征提取模块提取低分辨率红外特征图序列；
17.步骤s22、将所述低分辨率红外特征图序列进行循环级联融合，得到引入前后帧信息的特征图融合结果；
18.步骤s23、将所述特征图融合结果输入至所述超分辨率网络的重建模块，对所述重建模块输出的图像进行上采样，得到高分辨率红外特征图序列。
19.作为优选的，所述步骤s22具体包括：
20.将所述低分辨率红外特征图序列输入至循环融合模块，按顺序依次循环融合低分辨率红外特征图序列f
t
‑1、f
t
、f
t 1
，循环输入为h
t
‑1、f
t
；其中，循环第一次的h
t
‑1随机生成，h
t
‑1向f
t
对齐，对齐方法为级联金字塔可变对齐法；
21.基于循环融合模块将对齐结果与f
t
进行融合，循环融合模块为20层的残差模块，残差卷积核为3x3，数量为64，去除了批归一化层；
22.融合结果为h
t
，作为本次循环的输出传至下一次循环进行特征信息的传递。
23.作为优选的，所述步骤s22中，循环次数为所述低分辨率红外特征图序列的数量的n倍，n≥2；
24.所述循环融合模块的循环顺序为第一帧到最后一帧，再从最后一帧到第一帧。
25.第二方面，本发明实施例提供一种基于特征循环融合的多帧红外图像超分辨率系统，包括：
26.预处理模块，将高分辨率红外图像序列缩小为低分辨率红外图像序列；
27.特征图提取模块，将所述低分辨率红外图像序列输入至超分辨率网络进行训练，以对所述低分辨率红外图像序列进行特征图提取、特征图融合及图像重建，对重建后的图像进行上采样，得到高分辨率红外特征图序列；
28.重建模块，将所述高分辨率红外特征图序列和所述低分辨率红外图像序列双三次差值进行相加，得到超分辨率重建结果。
29.第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明第一方面实施例所述基于特征循环融合的多帧红外图像超分辨率方法的步骤。
30.第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如本发明第一方面实施例所述基于特征循环融合的多帧红外图像超分辨率方法的步骤。
31.本发明实施例提供的一种基于特征循环融合的多帧红外图像超分辨率方法和系统，使用了循环融合特征的机制，按照输入帧的顺序依次循环融合特征，并将融合结果传至下一次循环进行信息的传递。于是处理多帧时不会带来太多时间上的增加，同时能输出高分辨率结果；引入金字塔级联可变形卷积对齐法，并对其进行了修改。可变形卷积对齐效果提升的主要原因是偏移组数的提升；不同的偏移组数之间既可以相互补充，提升了容错率，
又允许网络聚合来自于不同位置的信息。
附图说明
32.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
33.图1为根据本发明实施例的基于特征循环融合的多帧红外图像超分辨率方法流程框图；
34.图2为根据本发明实施例的所述的超分辨率算法流程图；
35.图3为根据本发明实施例的亚像素卷积示意图，意为将输入特征图多通道上的像素依次重排列至输入特征图；
36.图4为根据本发明实施例的重建模块前、后部分算法示意图；
37.图5(a)为根据本发明实施例的超分辨率重建结果以及与其他网络模型的对比；
38.图5(b)为根据本发明实施例的超分辨率重建结果以及与其他网络模型的对比，groundtruth为高分辨率红外图像原图，lr是低分辨率红外图像，to
‑
flow、srresnet、duf是现有技术方法的对比实验结果图，frdn是本发明实施例的方法进行超分辨率的结果图；
39.图6为根据本发明是实施例的方法，分别使用红外数据集与可见光数据集在320x240重建到1280x960时得到的结果示意图；
40.图7为根据本发明实施例的实体结构示意图。
具体实施方式
41.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
42.本技术实施例中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。
43.本技术实施例中的术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。本技术的描述中，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列部件或单元的系统、产品或设备没有限定于已列出的部件或单元，而是可选地还包括没有列出的部件或单元，或可选地还包括对于这些产品或设备固有的其它部件或单元。本技术的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
44.在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
45.基于多幅图像的超分辨率可以比单幅图像引入更多的先验知识，对于多帧红外图像超分辨率，有研究组提出基于微扫描成像的图像超分辨率重建技术。微扫描需要与硬件结构配合得到具有微小位移的图像序列，融合序列图像来提高成像质量。微扫描法要求多帧图像之间是亚像素位移，对硬件结构的精度要求极高，且成像场景不存在局部移动。
46.因此，本发明实施例提供一种基于特征循环融合的多帧红外图像超分辨率方法和系统，使用了循环融合特征的机制，按照输入帧的顺序依次循环融合特征，并将融合结果传至下一次循环进行信息的传递。于是处理多帧时不会带来太多时间上的增加，同时能输出高分辨率结果
·
。以下将通过多个实施例进行展开说明和介绍。
47.图1为本发明实施例提供一种基于特征循环融合的多帧红外图像超分辨率方法，如图1和图2中所示，包括：
48.步骤s1、将高分辨率红外图像序列缩小为低分辨率红外图像序列；
49.对高分辨率红外图像序列进行下采样，并进行数据增强，得到翻转、旋转后的低分辨率红外图像。
50.缩小图像(或称为下采样(subsampled)或降采样(downsampled))的主要目的有两个：1、使得图像符合显示区域的大小；2、生成对应图像的缩略图。放大图像(或称为上采样(upsampling)或图像插值；
51.对于一幅图像i尺寸为m*n，对其进行s倍下采样，即得到(m/s)*(n/s)尺寸的得分辨率图像，当然s应该是m和n的公约数才行，如果考虑的是矩阵形式的图像，就是把原始图像s*s窗口内的图像变成一个像素，这个像素点的值就是窗口内所有像素的均值。
52.具体的，在本实施例中，用载有红外热成像系统无人机拍摄了100个有关于架空杆塔的视频，拍摄方式是由人手持无人机控制设备在杆塔下方拍摄，在重点拍摄部分停留一段时间后缓慢移动至下一个位置。
53.红外相机的帧率是20帧每秒，故停留3
‑
4s就会产生60
‑
80帧同一场景视频，训练时并不需要如此多同一场景的图片。抛弃了人工筛选的方法，人肉眼去判断几万张图片前后两帧是否有位移是不准确且工作量巨大；
54.利用ffmpeg音视频编辑软件将所有的红外视频转换为png图片格式，借助光流算法对所有的图片进行光流运动幅度值的计算。所有红外图片按照每组最多7帧进行分组。大于5视为有明显移动，打上记号，没有记号的帧表明无人机停留无明显运动，将其删除到只剩下一组，完成了数据集的制作。
55.将640x480高分辨率红外数据集图像序列下采样、数据增强得到翻转、旋转后的160x120低分辨率红外图像序列；
56.步骤s2、将所述低分辨率红外图像序列输入至超分辨率网络进行训练，以对所述低分辨率红外图像序列进行特征图提取、特征图融合及图像重建，对重建后的图像进行上采样，得到高分辨率红外特征图序列；
57.具体的，在本实施例中，超分辨率网络采用的神经网络设置为残差学习，仅学习高频细节，低频信息在最后与网络输出相加。最后方法实现了一个长连接结构，输入的双三次插值结果加上网络输出得到最终结果。
58.步骤s21、将所述低分辨率红外图像序列输入至超分辨率网络，基于所述超分辨率网络的特征提取模块提取低分辨率红外特征图序列；
59.具体的，如图2所示，将所述低分辨率红外图像序列通过5层卷积核大小为3x3，数量为64的残差模块进行计算，获得低分辨率红外特征图序列f
t
。
60.使用长残差连接来连接输入输出，长连接残差结构只需要进行残差学习，其收敛速度与精度都会更加优秀。提高了红外超分辨率的质量。
61.步骤s22、将所述低分辨率红外特征图序列进行循环级联融合，得到引入前后帧信息的特征图融合结果；
62.将所述低分辨率红外特征图序列按照t的顺序依次循环融合特征f
t
‑1,、ft、f
t 1
，循环输入为h
t
‑1、f
t
，循环第一次的h
t
‑1随机生成，h
t
‑1向f
t
对齐，对齐方法为级联金字塔可变对齐法；
63.将所述对齐结果再与f
t
进行融合，循环融合模块为20层的残差模块，残差卷积核为3x3，数量为64，去除了批归一化层，得到融合后的特征图h
t
；
64.本实施例中采用亚像素卷积代替反卷积用于图像上采样来改进和优化网络结构，亚像素卷积避免了反卷积中大量零的危险，提升了超分辨网络的性能。
65.将所述融合结果h
t
作为本次循环的输出传至下一次循环进行特征信息的传递。循环融合模块为双向循环，循环顺序会是顺序和逆序。由此最后会有两组向量序列，需要将其进行融合。融合卷积核大小为1x1，输入数量为128，输出为64，最终的融合结果为h
t
‑1，h
t
，h
t 1
。
66.本实施例中，引入金字塔级联可变形卷积对齐法。并对其进行了修改。可变形卷积对齐效果提升的主要原因是偏移组数的提升。不同的偏移组数之间既可以相互补充，提升了容错率，又允许网络聚合来自于不同位置的信息。在特征融合这里，使用了一种循环融合特征的机制，按照输入帧的顺序依次循环融合特征，并将融合结果传至下一次循环进行信息的传递。于是处理多帧时不会带来太多时间上的增加，同时能输出高分辨率结果。
67.特征图输入循环融合模块，循环次数为特征图数量的两倍，因为此结构是一个双向循环结构。因为双向循环的特性，特征图的循环顺序会是第一帧到最后一帧，再从最后一帧到第一帧，每一帧都经过两次对齐、级联、融合处理，两次结果融合。
68.步骤s23、将所述特征图融合结果输入至所述超分辨率网络的重建模块，对所述重建模块输出的图像进行上采样，得到高分辨率红外特征图序列。
69.步骤s3、将所述高分辨率红外特征图序列和所述低分辨率红外图像序列双三次差值进行相加，得到超分辨率重建结果。
70.具体的，重建模块的前部分是20层的残差模块，残差卷积核为3x3，数量为64，去除了批归一化层。后半部分是亚像素卷积层进行上采样得到高分辨率红外特征图序列，如图3所示。实现了四倍上采样，最后是对特征图进行了两次亚像素卷积操作得到高分辨率红外特征图序列。
71.将所述高分辨率特征图序列通过1x1卷积，将通道降到3，得到高分辨率残差图像，再与输入低分辨率图像序列相加得到超分辨率结果，如此形成长连接残差结构，如图3所示。
72.步骤s4、确定所述超分辨率重建结果与所述高分辨率红外图像序列之间的损失，基于梯度下降法优化所述超分辨率网络的网络参数，重复训练所述步骤s1至所述步骤s3，直至达到预设迭代次数。
73.通过所述迭代次数确定卷积神经网络训练是否完成，具体为：迭代次数小于30000，则确定红外图像超分辨网络训练完成，否则，确定红外图像超分辨网络训练未完成。
74.步骤s5、基于所述超分辨率网络对输入的低分辨率红外图像序列进行超分辨率处理，以获取测试结果图。
75.网络训练完之后，通过训练好的网络获取测试图像重建结果图。如图4所示，是上采样倍数为4的红外图像超分辨率结果，和其他算法做了对比，本发明的算法有显著的优点。图5(a)、(b)是本发明实施例超分辨率重建结果以及与现有技术其他网络模型的对比，groundtruth为高分辨率红外图像原图，lr是低分辨率红外图像，to
‑
flow、srresnet、duf是对比实验，frdn是本发明方法。图6是分别使用红外数据集与可见光数据集在320x240重建到1280x960时得到的结果。从图中可以看出本发明实施例比起其他结果边缘纹理更加清晰，如红箭头所指，更多的电线曲折边缘被恢复，主观感受也更好。
76.本发明实施例还提供一种基于特征循环融合的多帧红外图像超分辨率系统，基于上述各实施例中的基于特征循环融合的多帧红外图像超分辨率方法，包括：
77.预处理模块，将高分辨率红外图像序列缩小为低分辨率红外图像序列；
78.特征图提取模块，将所述低分辨率红外图像序列输入至超分辨率网络进行训练，以对所述低分辨率红外图像序列进行特征图提取、特征图融合及图像重建，对重建后的图像进行上采样，得到高分辨率红外特征图序列；
79.重建模块，将所述高分辨率红外特征图序列和所述低分辨率红外图像序列双三次差值进行相加，得到超分辨率重建结果。
80.基于相同的构思，本发明实施例还提供了一种实体结构示意图，如图7所示，该服务器可以包括：处理器(processor)810、通信接口(communications interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行如上述各实施例所述基于特征循环融合的多帧红外图像超分辨率方法的步骤。例如包括：
81.步骤s1、将高分辨率红外图像序列缩小为低分辨率红外图像序列；
82.步骤s2、将所述低分辨率红外图像序列输入至超分辨率网络进行训练，以对所述低分辨率红外图像序列进行特征图提取、特征图融合及图像重建，对重建后的图像进行上采样，得到高分辨率红外特征图序列；
83.步骤s3、将所述高分辨率红外特征图序列和所述低分辨率红外图像序列双三次差值进行相加，得到超分辨率重建结果。
84.步骤s4、确定所述超分辨率重建结果与所述高分辨率红外图像序列之间的损失，基于梯度下降法优化所述超分辨率网络的网络参数，重复训练所述步骤s1至所述步骤s3，直至达到预设迭代次数。
85.步骤s5、基于所述超分辨率网络对输入的低分辨率红外图像序列进行超分辨率处理，以获取测试结果图。
86.此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以
使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
87.基于相同的构思，本发明实施例还提供一种非暂态计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序包含至少一段代码，该至少一段代码可由主控设备执行，以控制主控设备用以实现如上述各实施例所述基于特征循环融合的多帧红外图像超分辨率方法的步骤。例如包括：
88.步骤s1、将高分辨率红外图像序列缩小为低分辨率红外图像序列；
89.步骤s2、将所述低分辨率红外图像序列输入至超分辨率网络进行训练，以对所述低分辨率红外图像序列进行特征图提取、特征图融合及图像重建，对重建后的图像进行上采样，得到高分辨率红外特征图序列；
90.步骤s3、将所述高分辨率红外特征图序列和所述低分辨率红外图像序列双三次差值进行相加，得到超分辨率重建结果。
91.步骤s4、确定所述超分辨率重建结果与所述高分辨率红外图像序列之间的损失，基于梯度下降法优化所述超分辨率网络的网络参数，重复训练所述步骤s1至所述步骤s3，直至达到预设迭代次数。
92.步骤s5、基于所述超分辨率网络对输入的低分辨率红外图像序列进行超分辨率处理，以获取测试结果图。
93.基于相同的技术构思，本技术实施例还提供一种计算机程序，当该计算机程序被主控设备执行时，用以实现上述方法实施例。
94.所述程序可以全部或者部分存储在与处理器封装在一起的存储介质上，也可以部分或者全部存储在不与处理器封装在一起的存储器上。
95.基于相同的技术构思，本技术实施例还提供一种处理器，该处理器用以实现上述方法实施例。上述处理器可以为芯片。
96.综上所述，本发明实施例提供的一种基于特征循环融合的多帧红外图像超分辨率方法和系统，使用了循环融合特征的机制，按照输入帧的顺序依次循环融合特征，并将融合结果传至下一次循环进行信息的传递。于是处理多帧时不会带来太多时间上的增加，同时能输出高分辨率结果；引入金字塔级联可变形卷积对齐法，并对其进行了修改。可变形卷积对齐效果提升的主要原因是偏移组数的提升；不同的偏移组数之间既可以相互补充，提升了容错率，又允许网络聚合来自于不同位置的信息。
97.本发明的各实施方式可以任意进行组合，以实现不同的技术效果。
98.在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本技术所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户
线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘solid statedisk)等。
99.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：rom或随机存储记忆体ram、磁碟或者光盘等各种可存储程序代码的介质。
100.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。