一种超分辨率图像重建方法及装置与流程

本发明涉及人工智能，具体涉及一种超分辨率图像重建方法及装置。

背景技术：

1、红外热成像技术是一种通过信号处理与光电转换等手段，将探测到的热量精确的量化，并以图像的形式将物体的温度分布状态直观表现的技术。在当前电力物联网技术广泛用于电力设备态势感知的形势下，利用红外热成像技术，可对电力设备进行实时的带电检测，获得电力设备的温度分布，从而发现设备的缺陷以及故障情况，并对电力设备健康状态进行评估。但是由于较高分辨率的红外探测器往往需要极小的单位像素尺寸或极大的芯片尺寸等硬件条件，导致较高分辨率的红外探测器造价非常昂贵，难以在电网中普及，因此需要对热成像图像进行超分辨率(sr)重构来提升原来低分辨率(lr)图像的分辨率，恢复图像在高频段以及多纹理区域更多信息细节。

2、现有的主流图像超分辨率算法主要是基于卷积神经网络(cnn)和transformer两种框架并进行一定改进和增强实现的。通过研究基于cnn改进的网络架构和提出的复杂结构，如残差学习、密集连接、拉普拉斯金字塔以及其他通道注意力机制等模块，但是基于cnn的方法由于卷积层的设计，卷积核会出现与内容无关的过程与原本图像交互，从而造成使用相同的卷积核来重建图像不同区域的问题。而基于transformer的架构具有自注意力机制与图像信息进行全局交互，现阶段相比cnn改进网络在视觉任务中有更突出表现，但是由于处理图像的二次复杂度，在训练过程中往往会生成大量参数并且计算量大。因此改进的transformer模型结合了基于transformer和基于cnn的模型的优点，不仅建立了图像之间的长期依赖关系，而且还通过局部注意力机制处理大尺寸图像，用更少的参数实现更高的psnr效果。但是这种模型可能会产生不明确的结果，因为它经常使用均方误差mse或平均绝对误差mae对单个lr图像与相应的单个hr图像进行一对一监督，这可能导致超分辨率后得到的图像像素平均化以及过于平滑和模糊结果，影响其真实性。

技术实现思路

1、针对现有技术中的问题，本发明实施例提供一种超分辨率图像重建方法及装置，能够至少部分地解决现有技术中存在的问题。

2、一方面，本发明提出一种超分辨率图像重建方法，包括：

3、获取电力设备热成像图像；

4、基于预设超分辨率图像生成模型对所述电力设备热成像图像进行处理，重建得到与所述电力设备热成像图像相对应的超分辨率图像；

5、其中，所述预设超分辨率图像生成模型根据原低分辨率图像集训练生成器和判别器得到，所述生成器包括依次相联的浅层特征提取模块、深层特征提取模块和图像重构模块；

6、所述深层特征提取模块的前四层为estb，第五层为卷积层，在第五层后为第一残差连接，第一残差连接用于实现与浅层特征提取模块的输出结果跨链接，在所述第一残差连接后连接的第六层和第七层为estb，第八层为卷积层，在第八层后为第二残差连接，第二残差连接用于实现与第一残差连接的输出结果跨链接；

7、每个estb分别包括依次相连的六层estl，一层ocab和一层卷积层；

8、每个estl分别包括依次相连的一层归一化层、通道注意力机制层、一层归一化层、第一mlp层，在通道注意力机制层后为第三残差连接，第三残差连接用于实现与对应estl的输入跨链接，在第一mlp层后为第四残差连接，第四残差连接用于实现与第三残差连接的输出结果跨链接；

9、每层ocab分别包括依次相连的一层归一化层、重叠交叉注意力层、一层归一化层和第二mlp层，在重叠交叉注意力层后为第五残差连接，第五残差连接用于实现与对应ocab的输入跨链接，在第二mlp层后为第六残差连接，第六残差连接用于实现与第五残差连接的输出结果跨链接。

10、其中，所述判别器包括依次连接的编码器和解码器，所述编码器用于对由所述图像重构模块生成的在训练阶段的超分辨率图像进行下采样，以获取全局信息；

11、所述解码器用于对在训练阶段的超分辨率图像进行上采样，以输出与在训练阶段的超分辨率图像具有相同分辨率的图像。

12、其中，所述编码器包括四个层结构，其中第一个层结构包括依次相连的卷积层和谱归一化层，后三个层结构包括依次相连的卷积层、谱归一化层和relu激活函数；

13、所述解码器包括三组成对依次连接的层级结构，在最后一个层级结构后连接有依次相连的卷积层和谱归一化层；

14、每个层级结构包括作为一部分的插值操作结构，以及作为另一部分的依次相连的卷积层、谱归一化层和relu激活函数。

15、其中，所述判别器带有区域感知策略，包括：

16、根据原始高分辨率图像的统计局部像素分布分离在训练阶段的超分辨率图像，得到纹理丰富区域图像，将纹理丰富区域图像输入至所述判别器中，进行学习训练，与原始高分辨率图像做对比输出图像的真实性结果。

17、其中，训练生成器，包括：

18、采用bb损失函数、bp损失函数、与生成器对应的第一对抗性损失函数和感知损失函数训练所述生成器。

19、其中，所述bb损失函数通过计算预测图像块与最佳匹配的高分辨率图像块之间差的绝对值的l1损失得到。

20、其中，所述bp损失函数通过计算双三次下采样输出r次获得的超分辨率图像与原低分辨率图像之间差的绝对值的l1损失得到；r为缩放因子。

21、一方面，本发明提出一种超分辨率图像重建装置，包括：

22、获取单元，用于获取电力设备热成像图像；

23、重建单元，用于基于预设超分辨率图像生成模型对所述电力设备热成像图像进行处理，重建得到与所述电力设备热成像图像相对应的超分辨率图像；

24、其中，所述预设超分辨率图像生成模型根据原低分辨率图像集训练生成器和判别器得到，所述生成器包括依次相联的浅层特征提取模块、深层特征提取模块和图像重构模块；

25、所述深层特征提取模块的前四层为estb，第五层为卷积层，在第五层后为第一残差连接，第一残差连接用于实现与浅层特征提取模块的输出结果跨链接，在所述第一残差连接后连接的第六层和第七层为estb，第八层为卷积层，在第八层后为第二残差连接，第二残差连接用于实现与第一残差连接的输出结果跨链接；

26、每个estb分别包括依次相连的六层estl，一层ocab和一层卷积层；

27、每个estl分别包括依次相连的一层归一化层、通道注意力机制层、一层归一化层、第一mlp层，在通道注意力机制层后为第三残差连接，第三残差连接用于实现与对应estl的输入跨链接，在第一mlp层后为第四残差连接，第四残差连接用于实现与第三残差连接的输出结果跨链接；

28、每层ocab分别包括依次相连的一层归一化层、重叠交叉注意力层、一层归一化层和第二mlp层，在重叠交叉注意力层后为第五残差连接，第五残差连接用于实现与对应ocab的输入跨链接，在第二mlp层后为第六残差连接，第六残差连接用于实现与第五残差连接的输出结果跨链接。

29、再一方面，本发明实施例提供一种电子设备，包括：处理器、存储器和总线，其中，

30、所述处理器和所述存储器通过所述总线完成相互间的通信；

31、所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如下方法：

32、获取电力设备热成像图像；

33、基于预设超分辨率图像生成模型对所述电力设备热成像图像进行处理，重建得到与所述电力设备热成像图像相对应的超分辨率图像；

34、其中，所述预设超分辨率图像生成模型根据原低分辨率图像集训练生成器和判别器得到，所述生成器包括依次相联的浅层特征提取模块、深层特征提取模块和图像重构模块；

35、所述深层特征提取模块的前四层为estb，第五层为卷积层，在第五层后为第一残差连接，第一残差连接用于实现与浅层特征提取模块的输出结果跨链接，在所述第一残差连接后连接的第六层和第七层为estb，第八层为卷积层，在第八层后为第二残差连接，第二残差连接用于实现与第一残差连接的输出结果跨链接；

36、每个estb分别包括依次相连的六层estl，一层ocab和一层卷积层；

37、每个estl分别包括依次相连的一层归一化层、通道注意力机制层、一层归一化层、第一mlp层，在通道注意力机制层后为第三残差连接，第三残差连接用于实现与对应estl的输入跨链接，在第一mlp层后为第四残差连接，第四残差连接用于实现与第三残差连接的输出结果跨链接；

38、每层ocab分别包括依次相连的一层归一化层、重叠交叉注意力层、一层归一化层和第二mlp层，在重叠交叉注意力层后为第五残差连接，第五残差连接用于实现与对应ocab的输入跨链接，在第二mlp层后为第六残差连接，第六残差连接用于实现与第五残差连接的输出结果跨链接。

39、本发明实施例提供一种非暂态计算机可读存储介质，包括：

40、所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如下方法：

41、获取电力设备热成像图像；

42、基于预设超分辨率图像生成模型对所述电力设备热成像图像进行处理，重建得到与所述电力设备热成像图像相对应的超分辨率图像；

43、其中，所述预设超分辨率图像生成模型根据原低分辨率图像集训练生成器和判别器得到，所述生成器包括依次相联的浅层特征提取模块、深层特征提取模块和图像重构模块；

44、所述深层特征提取模块的前四层为estb，第五层为卷积层，在第五层后为第一残差连接，第一残差连接用于实现与浅层特征提取模块的输出结果跨链接，在所述第一残差连接后连接的第六层和第七层为estb，第八层为卷积层，在第八层后为第二残差连接，第二残差连接用于实现与第一残差连接的输出结果跨链接；

45、每个estb分别包括依次相连的六层estl，一层ocab和一层卷积层；

46、每个estl分别包括依次相连的一层归一化层、通道注意力机制层、一层归一化层、第一mlp层，在通道注意力机制层后为第三残差连接，第三残差连接用于实现与对应estl的输入跨链接，在第一mlp层后为第四残差连接，第四残差连接用于实现与第三残差连接的输出结果跨链接；

47、每层ocab分别包括依次相连的一层归一化层、重叠交叉注意力层、一层归一化层和第二mlp层，在重叠交叉注意力层后为第五残差连接，第五残差连接用于实现与对应ocab的输入跨链接，在第二mlp层后为第六残差连接，第六残差连接用于实现与第五残差连接的输出结果跨链接。

48、本发明实施例提供的超分辨率图像重建方法及装置，获取电力设备热成像图像；基于预设超分辨率图像生成模型对所述电力设备热成像图像进行处理，重建得到与所述电力设备热成像图像相对应的超分辨率图像；其中，所述预设超分辨率图像生成模型根据原低分辨率图像集训练生成器和判别器得到，所述生成器包括依次相联的浅层特征提取模块、深层特征提取模块和图像重构模块；所述深层特征提取模块的前四层为estb，第五层为卷积层，在第五层后为第一残差连接，第一残差连接用于实现与浅层特征提取模块的输出结果跨链接，在所述第一残差连接后连接的第六层和第七层为estb，第八层为卷积层，在第八层后为第二残差连接，第二残差连接用于实现与第一残差连接的输出结果跨链接；每个estb分别包括依次相连的六层estl，一层ocab和一层卷积层；每个estl分别包括依次相连的一层归一化层、通道注意力机制层、一层归一化层、第一mlp层，在通道注意力机制层后为第三残差连接，第三残差连接用于实现与对应estl的输入跨链接，在第一mlp层后为第四残差连接，第四残差连接用于实现与第三残差连接的输出结果跨链接；每层ocab分别包括依次相连的一层归一化层、重叠交叉注意力层、一层归一化层和第二mlp层，在重叠交叉注意力层后为第五残差连接，第五残差连接用于实现与对应ocab的输入跨链接，在第二mlp层后为第六残差连接，第六残差连接用于实现与第五残差连接的输出结果跨链接，能够获取具有更高图像质量的电力设备热成像图像。