模型训练方法、红外图像超分辨率重建方法、装置及电子设备与流程

本发明属于图像处理领域，具体涉及一种模型训练方法、红外图像超分辨率重建方法、装置及电子设备。

背景技术：

1、红外图像在智能电网领域广泛应用，包括绝缘子识别、变电站设备分类和光伏模块检测等多个领域，相较于低分辨率图像，高分辨率红外图像具有更多纹理和边缘等丰富信息，在检测和分类等应用中具备优势。然而，由于红外热成像的成像波长较长，所生成的红外图像通常存在噪声较大、分辨率较低和对比度不高等问题，与可见光图像相比，视觉效果不够好，无法直观地提取有用信息，而红外图像在夜间或恶劣环境又表现出显著的成像优势，以克服视觉障碍完成目标探测，因此提升红外图像的分辨率仍然有研究价值。

2、尽管一些方法如插值算法和传统的图像处理技术可以在一定程度上提高图像的分辨率，但这些方法往往忽略了红外图像特有的噪声和细节信息，导致重建后的图像质量不佳，难以满足实际应用需求。此外，基于cnn网络的超分辨率重建方法虽然能够取得较好的效果，但往往存在计算量大、模型复杂度高的问题。这不仅增加了方法的实现成本，还可能导致重建速度慢，难以满足实时性要求较高的应用场景。因此，如何在保证重建质量的同时，降低方法的计算复杂度和成本，提高重建速度，是当前亟待解决的关键技术问题。

技术实现思路

1、鉴于此，本发明旨在提出一种模型训练方法、红外图像超分辨率重建方法、装置及电子设备，融合repvit块和递归残差结构以更好提取图像的结构化信息，提升模型的特征提取能力。

2、第一方面，本发明提供一种模型训练方法，该方法训练得到的模型用于红外图像超分辨率重建，包括：

3、获取用于模型训练的低分辨率红外图像及与低分辨率红外图像的图像内容相同的高分辨率红外图像；

4、建立包括浅层特征提取网络、深层特征提取网络和重建网络的红外图像重建模型，深层特征提取网络包括依次连接的特征提取模块和递归残差模块，其中特征提取模块包括repvit块；

5、低分辨率红外图像在红外图像重建模型内前向传播进行模型训练，经浅层特征提取网络得到图像浅层特征，图像浅层特征经深层特征提取网络得到图像深层特征，连接图像浅层特征和图像深层特征得到图像融合特征，图像融合特征传播至重建网络得到重建图像；

6、根据重建图像和高分辨率红外图像构建损失函数，以损失函数最小化为目标调整模型参数，得到训练好的红外图像重建模型。

7、进一步地，特征提取模块还包括局部特征提取块、esa块，图像浅层特征+传播至局部特征提取块得到局部特征，局部特征依次传播至esa块和repvit块得到图像全局特征，图像全局特征经递归残差模块提取得到图像深层特征。

8、进一步地，局部特征提取块包括若干个堆叠连接的分离卷积块，每个分离卷积块包括一个蓝图卷积层和一个激活层，图像浅层特征经过若干个堆叠连接的分离卷积块的前馈输出与图像浅层特征残差连接得到局部特征。

9、进一步地，esa块根据特征的前向传播方向包括第一卷积层、跨步卷积层、跨步最大池化层、卷积块、上采样层、第二卷积层和激活层；

10、局部特征经过第一卷积层特到第一特征图，第一特征图依次经过跨步卷积层、跨步最大池化层、卷积块和上采样层得到第二特征图，把第一特征图和第二特征图进行拼接后得到第三特征图，第三特征图经过第二卷积层和激活层生成空间注意力图，把空间注意力图和输入的局部特征进行元素级别的乘法操作得到增强特征。

11、进一步地，卷积块为蓝图卷积层。

12、进一步地，递归残差模块包括递归连接的第一残差块、第二残差块、第三残差块和第三卷积层；

13、图像全局特征在第一残差块内的前馈输出残差连接图像全局特征得到第一残差特征，第一残差特征在第二残差块的前馈输出残差连接图像全局特征和第一残差特征得到第二残差特征，第二残差特征在第三残差块的前馈输出残差连接图像全局特征和第一残差特征得到第三残差特征，第三残差特征经卷积层特征提取输出图像深层特征。

14、进一步地，第一残差块包括一个卷积层和一个激活层。

15、进一步地，第二残差块包括三个卷积层，按特征的前向传播方向相邻的卷积层之间设置有一个激活层。

16、进一步地，第三残差块包括三个卷积层，按特征的前向传播方向相邻的卷积层之间设置有一个激活层。

17、进一步地，第一残差块、第二残差块和第三残差块中的激活层均使用leaky relu激活函数。

18、进一步地，重建网络包括一个上采样模块和一个卷积层，图像深层特征通过上采样模块的特征放大和卷积层的特征映射输出重构图像。

19、进一步地，损失函数的表达式如下：

20、

21、第二方面，本发明提供一种红外图像超分辨率重建方法，包括：

22、获取待重建的红外图像；

23、把待重建的红外图像输入经第一方面的模型训练方法训练好的红外图像重建模型进行图像重建，得到重建图像。

24、第三方面，本发明提供一种模型训练装置，包括：

25、训练数据获取单元，用于获取用于模型训练的低分辨率红外图像及与低分辨率红外图像的图像内容相同的高分辨率红外图像；

26、模型建立单元，用于建立包括浅层特征提取网络、深层特征提取网络和重建网络的红外图像重建模型，深层特征提取网络包括依次连接的特征提取模块和递归残差模块，其中特征提取模块包括repvit块；

27、模型训练单元，用于令低分辨率红外图像在红外图像重建模型内前向传播进行模型训练，经浅层特征提取网络得到图像浅层特征，图像浅层特征经深层特征提取网络得到图像深层特征，连接图像浅层特征和图像深层特征得到图像融合特征，图像融合特征传播至重建网络得到重建图像；

28、损失计算更新单元，用于根据重建图像和高分辨率红外图像构建损失函数，以损失函数最小化为目标调整模型参数，得到训练好的红外图像重建模型。

29、第四方面，本发明提供一种红外图像超分辨率重建装置，包括：

30、红外图像获取单元，用于获取待重建的红外图像；

31、图像重建单元，用于利用第三方面的模型训练装置训练得到的红外图像重建模型进行图像重建，得到重建图像。

32、第五方面，本发明提供一种电子设备，包括：存储器和处理器；

33、所述存储器，用于存储程序；

34、所述处理器，用于调用存储于所述存储器中的程序，以执行上述第一方面实施例和/或结合第一方面实施例的任一种可能的实施方式提供的模型训练方法，或，执行上述第二方面实施例提供的红外图像超分辨率重建方法。

35、第六方面，本发明还提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述第一方面实施例和/或结合第一方面实施例的任一种可能的实施方式提供的模型训练方法，或，执行上述第二方面实施例提供的红外图像超分辨率重建方法。

36、与现有的红外图像超分辨率重建模型相比，本发明有如下有益效果：

37、本发明提供了一种模型训练方法、红外图像超分辨率重建方法、装置及电子设备，利用repvit块强大的特征提取能力和递归残差结构在图像重建中的优势，有效解决了传统红外图像超分辨率重建技术在处理红外图像时存在的计算量大、重建效果差等问题，repvit块的transformer结构可以并行处理输入序列的所有信息，能更好地整合全局信息，而递归残差结构可以更好地提取图像的结构化信息，提升网络的特征提取能力；进一步的实施例本发明提供了把repvit块将作为核心组件与esa注意力机制组成高效特征提取模块的思路，对输入的低分辨率红外图像进行特征提取，提取出包含丰富信息的特征图；更进一步的实施例本发明提出了更优化的递归残差模块结构，在repvit块编解码网络的初步特征提取基础上，进一步深入挖掘和提取高频残差信息。