基于光流运动的红外弱小目标超分辨率重建方法与流程

本发明涉及红外弱小目标超分辨率重建，尤其涉及一种基于光流运动的红外弱小目标超分辨率重建方法。

背景技术：

1、随着红外成像技术和深度学习的快速发展，由于红外弱小目标距离成像系统较远，导致目标在图像上仅占几个像素，一般小于9个像素。红外弱小目标没有清晰的轮廓和边界，和噪点很像，信噪比低，和背景的对比度低，容易淹没在背景杂波中，人眼不容易区分。

2、因此，在红外弱小目标识别之前进行超分辨率重建很重要。

技术实现思路

1、为解决上述现有技术中存在的技术问题，本发明的目的在于提供一种基于光流运动的红外弱小目标超分辨率重建方法，能够有效地恢复红外弱小目标的精细结构，提高后续识别的性能。

2、为实现上述发明目的，本发明提供一种基于光流运动的红外弱小目标超分辨率重建方法，包括以下步骤：

3、步骤s1、基于序列图像，得到红外弱小目标的初始特征，并进行增强，得到第一参考帧特征和第一邻域帧特征；

4、步骤s2、将第一参考帧特征、第一邻域帧特征与参考帧和邻域帧两两组合形成4组第二特征，并进行运动补偿，得到2组第三特征；

5、步骤s3、将第三特征分别和参考帧进行组合，最终形成2组第四特征，将2组第四特征输入到特征增强模块；

6、步骤s4、将从特征增强模块输出的特征输入到基于softmax的特征匹配模块；

7、步骤s5、将从特征匹配模块输出的特征和从步骤s3中特征增强模块输出的一个特征输入到自关注模块；

8、步骤s6、利用超分辨率重建模块，恢复红外弱小目标的细节信息。

9、根据本发明的一个技术方案，所述步骤s1中，具体包括：

10、步骤s11、将序列图像输入到一个1x1的卷积中，提取红外弱小目标的初始特征；

11、步骤s12、将初始特征输入到中心差分残差组模块中，显著增强目标的特征，得到第一参考帧特征和第一邻域帧特征。

12、根据本发明的一个技术方案，所述步骤s2中，具体包括：

13、将参考帧送入到一个1x1的卷积conv_q中提取特征，得到以p0为中心的特征图响应；

14、将邻域帧送入到一个1x1的卷积conv_k中提取特征，得到以p0为中心的邻域中第n个值的特征图响应；

15、将第一参考帧特征和第一邻域帧特征分别进行乘法运算再进行激活函数的处理，得到注意力图；

16、注意力图和邻域帧点乘得到以p0为中心的局部时空注意力特征；

17、利用局部时空注意力模块计算参考帧与其相邻帧之间的响应，生成注意图，使用生成的注意图计算加权和进行隐式对齐邻域帧，并结合互补的时间信息来增强小目标的特征，得到第三特征。

18、根据本发明的一个技术方案，所述步骤s3中，所述特征增强模块选择transformer模型。

19、根据本发明的一个技术方案，所述步骤s4中，包括：

20、步骤s41、将从特征增强模块中输出的两组特征，通过全局相关性计算所有点与点之间的相关性，通过矩阵乘法实现，计算公式如下：

21、

22、其中，c表示相关矩阵，f1、f2表示特征增强模块中输出的两组特征，是归一化因子；

23、步骤s42、利用softmax操作归一化c的最后两个维度，形成一个匹配的概率分布，计算公式如下：

24、m＝softmax(c)∈rh×w×h×w；

25、步骤s43、将f1和f2中的所有位置进行对应匹配，然后将像素网格g的二维坐标加权平均，得到对应的g∈h×w×2和匹配的分布m，计算公式如下：

26、

27、步骤s44、通过计算对应像素坐标的差值得到光流v，计算公式如下：

28、

29、根据本发明的一个技术方案，所述步骤s5中，具体包括：

30、通过特征的自相似性将匹配区域的高质量光流估计结果传播到未匹配区域，基于自注意力层实现，计算公式如下：

31、

32、其中，的计算公式如下：

33、

34、为光流预测，将transformer增强的特征送入softmax可微匹配层得到的。

35、根据本发明的一个技术方案，所述步骤s6中，具体包括：

36、将自关注模块中输出的特征输入到残差组和卷积层中进一步提取特征，最终通过参考帧图像进行双三次上采样得到高分辨率图像。

37、根据本发明的一个方面，提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行如上述技术方案中任一项所述的一种基于光流运动的红外弱小目标超分辨率重建方法。

38、根据本发明的一个方面，提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，实现如上述技术方案中任一项所述一种基于光流运动的红外弱小目标超分辨率重建方法。

39、本发明与现有技术相比，具有以下有益效果：

40、本发明提出了一种基于光流运动的红外弱小目标超分辨率重建方法，通过加入光流运动模块，有效地恢复了大运动的小目标的精细结构，提高了峰值信噪比和结构相似度，能够为红外弱小目标超分辨率重建提供了一种切实可行的技术途径，在超分辨率重建领域有较大的实际应用价值。

技术特征：

1.一种基于光流运动的红外弱小目标超分辨率重建方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于光流运动的红外弱小目标超分辨率重建方法，其特征在于，所述步骤s1中，具体包括：

3.根据权利要求1所述的基于光流运动的红外弱小目标超分辨率重建方法，其特征在于，所述步骤s2中，具体包括：

4.根据权利要求3所述的基于光流运动的红外弱小目标超分辨率重建方法，其特征在于，所述步骤s3中，所述特征增强模块选择transformer模型。

5.根据权利要求4所述的基于光流运动的红外弱小目标超分辨率重建方法，其特征在于，所述步骤s4中，包括：

6.根据权利要求5所述的基于光流运动的红外弱小目标超分辨率重建方法，其特征在于，所述步骤s5中，具体包括：

7.根据权利要求5所述的基于光流运动的红外弱小目标超分辨率重建方法，其特征在于，所述步骤s6中，具体包括：

8.一种电子设备，其特征在于，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行如权利要求1至7中任一项所述的基于光流运动的红外弱小目标超分辨率重建方法。

9.一种计算机可读存储介质，其特征在于，用于存储计算机指令，所述计算机指令被处理器执行时，实现如权利要求1至7中任一项所述的基于光流运动的红外弱小目标超分辨率重建方法。

技术总结本发明涉及一种基于光流运动的红外弱小目标超分辨率重建方法，包括：基于序列图像，得到红外弱小目标的初始特征，并进行增强，得到第一参考帧特征和第一邻域帧特征；将第一参考帧特征、第一邻域帧特征与参考帧和邻域帧两两组合形成4组第二特征，并进行运动补偿，得到2组第三特征；将第三特征分别和参考帧进行组合，最终形成2组第四特征，将2组第四特征输入到特征增强模块；将从特征增强模块输出的特征输入到基于softmax的特征匹配模块；将从特征匹配模块输出的特征和特征增强模块输出的一个特征输入到自关注模块；利用超分辨率重建模块，恢复红外弱小目标的细节信息。本发明，能够恢复大运动的小目标的精细结构，提高了峰值信噪比和结构相似度。技术研发人员：贺广均,纪骁宵,邓岳,陈千千,岳富占,金世超,冯鹏铭,梁颖,田路云受保护的技术使用者：北京卫星信息工程研究所技术研发日：技术公布日：2024/10/10