红外图像的超分辨率重建方法、装置及计算机程序产品与流程

本技术涉及图像重建领域，具体而言，涉及一种红外图像的超分辨率重建方法、红外图像的超分辨率重建装置、计算机可读存储介质以及计算机程序产品。

背景技术：

1、随着电力系统的不断发展和扩展，变电站作为电力系统的重要节点，起着转换、配电和保护等功能。为了确保变电站的安全运行和减少故障风险，定期进行巡检和维护工作是必不可少的。传统的巡检方式主要依赖人工，但存在着工作效率低、人力成本高以及对巡检人员的技能要求较高等问题。随着机器人技术的发展，巡检机器人逐渐应用于变电站巡检领域，巡检机器人能够自主行走、携带各种传感器并执行巡检任务，其中红外传感器的应用尤为重要。红外图像技术通过检测设备表面的红外辐射，能够实时反映设备的温度分布和热点情况，从而实现对设备状态的监测和故障诊断。

2、因此，如何提升红外重建图像的视觉效果是一项亟需解决的技术问题。

技术实现思路

1、本技术的主要目的在于提供一种红外图像的超分辨率重建方法、红外图像的超分辨率重建装置、计算机可读存储介质以及计算机程序产品，以至少解决现有技术中提升红外重建图像的视觉效果的问题。

2、根据本技术的一方面，提供了一种红外图像的超分辨率重建方法，包括：获取多个变电设备的红外图像和所述红外图像对应的边缘图像，得到第一数据集，其中，所述边缘图像为位于所述红外图像的边缘区域的图像，所述第一数据集包括多个第一图像对，一个所述第一图像对包括一个所述红外图像和所述红外图像对应的所述边缘图像，多个所述第一图像对的部分为第一测试数据，另一部分为第一测试数据；分别对多个所述红外图像进行低分辨率处理，得到第二数据集，其中，所述第二数据集包括多个第二图像对，一个所述第二图像对包括两个低分辨率处理后的所述红外图像，两个所述红外图像的低分辨率处理的分辨率不同，多个所述第二图像对的部分为第二测试数据，另一部分为第二训练数据；将所述第一测试数据依次输入至生成网络模型，得到多个生成图像，其中，所述生成网络模型为使用多组第一历史数据通过机器学习训练出的，多组所述第一历史数据中的每组数据均包括所述第一测试数据，所述生成网络模型至少包括用于对所述生成网络模型的输入图像进行边缘检测的边缘检测单元；将所述生成图像和所述第二测试数据输入至对抗网络模型，判断所述生成图像是否正确，其中，所述对抗网络模型为使用多组第二历史数据通过机器学习训练出的，多组所述第二历史数据中的每组数据均包括所述第二训练数据；在所述对抗网络模型的损失函数收敛的情况下，确定所述生成图像为超分辨率重建图像。

3、可选地，分别对多个所述红外图像进行低分辨率处理，得到第二数据集，包括：对多个所述红外图像中的部分所述红外图像进行第一低分辨率处理，得到多个第一处理图像，其中，所述第一处理图像为第一低分辨率处理后的所述红外图像；对另一部分所述边缘图像进行第二低分辨率处理，得到多个第二处理图像，其中，所述第二低分辨率处理的分辨率小于所述第一低分辨率处理的分辨率，所述第二处理图像为第二低分辨率处理后的所述红外图像，一个所述第一处理图像和一个所述第二处理图像形成一个所述第二图像对，多个所述第二图像对形成所述第二数据集。

4、可选地，所述生成网络模型包括依次连接的第一卷积单元、特征提取单元、第二卷积单元、第一拼接单元，第一上采样卷积单元、所述边缘检测单元、第二拼接单元、第二上采样卷积单元、第三拼接单元以及第三卷积单元，将所述第一测试数据依次输入至生成网络模型，得到多个生成图像，包括：将所述第一测试数据输入至所述第一卷积单元以对所述第一测试数据进行卷积处理，得到第一特征图；将所述第一特征图输入至所述特征提取单元以对所述第一特征图进行多次特征提取，得到第二特征图；将所述第一特征图和所述第二特征图输入至所述第一拼接单元以对第一特征图和所述第二特征图进行拼接，得到第三特征图；将所述第三特征图输入至所述第一上采样卷积单元以对所述第三特征图依次进行上采样操作和卷积处理，得到第八特征图；将所述第一测试数据输入至所述边缘检测单元以对所述第一测试数据进行边缘检测，得到边缘检测图像；将所述边缘检测图像输入至所述第二卷积单元以对所述边缘检测图像进行卷积处理，得到第四特征图；将所述第四特征图输入至所述特征提取单元以对所述第四特征图进行多次特征提取，得到第五特征图；将所述第四特征图和所述第五特征图输入至所述第二拼接单元以对所述第四特征图和所述第五特征图进行拼接得到第六特征图；将所述第六特征图输入至所述第二上采样卷积单元，得到第七特征图；将所述第七特征图和所述第八特征图输入至所述第三拼接单元以对所述第七特征图和所述第八特征图进行拼接处理，得到第九特征图；将所述第九特征图输入至所述第三卷积单元以对所述第九特征图进行卷积处理，得到所述生成图像。

5、可选地，所述特征提取单元包括依次连接的多个特征提取子单元、第一卷积子单元以及第二卷积子单元，一个所述特征提取子单元包括依次连接的特征提取模块、拼接模块、卷积模块以及残差模块，将所述第一特征图输入至所述特征提取单元以对所述第一特征图进行多次特征提取，得到第二特征图，将所述第四特征图输入至所述特征提取单元以对所述第四特征图进行多次特征提取，得到第五特征图，包括：第一输入步骤，将所述第一特征图输入一个所述特征提取模块以对所述第一特征图进行特征提取得到第一子特征图；第二输入步骤，将所述第一子特征图和所述第四特征图输入所述拼接模块以对所述第四特征图和所述第一子特征图进行拼接处理，得到第二子特征图；第三输入步骤，将所述第二子特征图输入所述卷积模块以对所述第二子特征图进行卷积处理，得到第三子特征图；第四输入步骤，将所述第三子特征图输入所述残差模块以对所述第三子特征图进行残差处理，得到第四子特征图；第一重复步骤，依次重复所述第一输入步骤、第二输入步骤、第三输入步骤以及第四输入步骤至少一次，并在重复过程中将所述第一输入步骤中的所述第四特征图更新为上一次的重复过程中得到的所述第四输入步骤中的所述第四子特征图，直到达到第一预定次数，其中，所述第一预定次数为所述特征提取单元中所述特征提取子单元的数量；第五输入步骤，将达到所述第一预定次数时的所述第一输入步骤中的所述第一子特征图输入至所述第一卷积子单元以对所述第一子特征图进行卷积处理，得到所述第二特征图；第六输入步骤，将达到所述第一预定次数时的所述第四输入步骤中的所述第四子特征图输入至所述第二卷积子单元以对所述第四子特征图进行卷积处理，得到所述第五特征图。

6、可选地，所述特征提取模块包括依次连接的第一卷积子模块、多个第二卷积子模块、第一拼接子模块、激活函数计算子模块、第三卷积子模块以及第二拼接子模块，一个所述第二卷积子模块包括一个空洞卷积层和一个拼接层，所述第一输入步骤包括：第七输入步骤，将所述第一特征图输入所述第一卷积子模块以对所述第一特征图进行卷积处理，得到第五子特征图；第八输入步骤，将所述第五子特征图输入所述空洞卷积层以对所述第五子特征图进行卷积处理，得到第六子特征图；第九输入步骤，将相邻的两个所述空洞卷积层输出的两个所述第六子特征图输入至所述拼接层以对两个所述第六子特征图进行拼接处理，得到第七子特征图；第二重复步骤，重复所述第九输入步骤至少一次，并在重复过程中将两个所述第七特征图中的一个更新为上一次的重复过程中得到的所述第七子特征图，直到达到第二预定次数，所述第二预定次数为所述特征提取模块中所述第二卷积子模块的数量；第十输入步骤，将所述第八输入步骤中得到的第六子特征图和所述第二重复步骤中得到的多个所述第七子特征图依次输入至所述第一拼接子模块、所述激活函数计算子模块、所述第三卷积子模块以及所述第二拼接子模块，得到所述第一子特征图。

7、可选地，所述边缘检测单元包括依次连接的混合模块、多个下采样混合模块，多个上采样混合模块、上采样模块、多个混合模块以及第四卷积模块，所述混合模块包括依次连接的卷积层、条件批量标准化层以及激活函数层，一个所述下采样混合模块包括依次连接的一个最大池化层和多个所述混合模块，一个所述上采样混合模块包括依次连接的双线性插值层和多个所述混合模块，将所述第一测试数据输入至所述边缘检测单元以对所述第一测试数据进行边缘检测，得到边缘检测图像，包括：将所述第一测试数据输入至所述混合模块以对所述第一测试数据进行混合操作，得到第十特征图；将所述第十特征图依次输入至多个所述下采样混合模块以对所述第十特征图进行下采样操作和混合操作，得到第十一特征图；将所述第十一特征图依次输入至多个所述上采样混合模块以对所述第十一特征图进行上采样操作和混合操作，得到第十二特征图；将所述第十二特征图输入至所述上采样模块以对所述第十二特征图进行上采样操作，得到第十三特征图；将所述第十三特征图依次输入至所述多个混合模块和第四卷积模块以对所述第十三特征图进行混合操作和卷积处理，得到所述边缘检测图像。

8、可选地，所述对抗网络模型为包括注意力模块和u-net的卷积神经网络。

9、根据本技术的另一方面，提供了一种红外图像的超分辨率重建装置，包括：获取单元，用于获取多个变电设备的红外图像和所述红外图像对应的边缘图像，得到第一数据集，其中，所述边缘图像为位于所述红外图像的边缘区域的图像，所述第一数据集包括多个第一图像对，一个所述第一图像对包括一个所述红外图像和所述红外图像对应的所述边缘图像，多个所述第一图像对的部分为第一测试数据，另一部分为第一测试数据；处理单元，用于分别对多个所述红外图像进行低分辨率处理，得到第二数据集，其中，所述第二数据集包括多个第二图像对，一个所述第二图像对包括两个低分辨率处理后的所述红外图像，两个所述红外图像的低分辨率处理的分辨率不同，多个所述第二图像对的部分为第二测试数据，另一部分为第二训练数据；第一输入单元，用于将所述第一测试数据依次输入至生成网络模型，得到多个生成图像，其中，所述生成网络模型为使用多组第一历史数据通过机器学习训练出的，多组所述第一历史数据中的每组数据均包括所述第一测试数据，所述生成网络模型至少包括用于对所述生成网络模型的输入图像进行边缘检测的边缘检测单元；第二输入单元，用于将所述生成图像和所述第二测试数据输入至对抗网络模型，判断所述生成图像是否正确，其中，所述对抗网络模型为使用多组第二历史数据通过机器学习训练出的，多组所述第二历史数据中的每组数据均包括所述第二训练数据；确定单元，用于在所述对抗网络模型的损失函数收敛的情况下，确定所述生成图像为超分辨率重建图像。

10、根据本技术的再一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行任意一种所述的方法。

11、根据本技术的又一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现任意一种所述的方法的步骤。

12、应用本技术的技术方案，红外图像的超分辨率重建方法中，首先，获取多个变电设备的红外图像和红外图像对应的边缘图像，得到第一数据集，边缘图像为位于红外图像的边缘区域的图像；再分别对多个红外图像进行低分辨率处理，得到第二数据集；然后，将第一测试数据依次输入至生成网络模型，得到多个生成图像；再将生成图像和第二测试数据输入至对抗网络模型，判断生成图像是否正确；最后，在对抗网络模型的损失函数收敛的情况下，确定生成图像为超分辨率重建图像。由于本方案中的生成网络模型中的边缘检测单元可以实现对电气设备红外图像的边缘检测，得到只含有图像边缘特征的图像，抑制原图像中的其他非边缘信息的干扰，提高生成网络模型得到的生成图像的视觉效果，进一步结合生成网络模型和对抗网络模型，采用生成对抗网络模型实现超分辨率图像重建，进而提升重建后的红外图像视觉效果，解决了现有技术中如何提升红外重建图像的视觉效果的技术问题。