一种遥感影像的扭曲变形修复方法、装置及电子设备与流程

本说明书一个或多个实施例涉及图像处理技术，尤其涉及一种遥感影像的扭曲变形修复方法、装置及电子设备。

背景技术：

1、遥感影像在产生时，部分图像会出现扭曲和变形，影响遥感影像整体的数据质量。为了解决该问题，目前一般是由作业人员在photoshop软件中对得到的遥感影像进行修图调整，增加巨大的时间成本和人力成本。此外，现有技术中也有通过特征点检测与匹配后，根据仿射变换矩阵对扭曲影像进行修复的方式，但是由于并非所有影像都存在扭曲变形，该方式每次都需要人工手动确认扭曲变形区域后才能进行修复，仍然需要大量的时间和人力资源。

技术实现思路

1、为了解决上述问题，本说明书一个或多个实施例描述了一种遥感影像的扭曲变形修复方法、装置及电子设备。

2、根据第一方面，提供了一种遥感影像的扭曲变形修复方法，所述方法包括：

3、以生成对抗网络模型为基础模型，基于训练数据训练所述基础模型，得到扭曲变形修复模型，所述训练数据包括真实修复样本和模拟合成样本，所述真实修复样本基于实际作业过程中通过手动标注得到，所述模拟合成样本基于真实无扭曲变形影像进行随机变形操作后得到，所述真实修复样本的约束损失函数权重大于所述模拟合成样本的约束损失函数权重，所述基础模型中设置有像素级监督损失函数，所述像素级监督损失函数用以确定模型输出结果和实际结果之间每个像素点的像素误差，并根据像素误差大小生成误差惩罚，所述误差惩罚用以引导调整模型参数以最小化所述像素误差；

4、获取待修复的遥感影像，基于第一预设尺寸将所述遥感影像划分为至少一个第一影像，并基于第二预设尺寸和预设重叠率分别将各所述第一影像划分为多个第二影像；

5、针对任一所述第一影像，基于所述扭曲变形修复模型分别处理各所述第二影像，得到各第一修复影像，并基于各所述第一修复影像生成所述第一影像的第二修复影像；

6、在得到所有所述第二修复影像后，整合各所述第二修复影像，得到所述遥感影像对应的修复遥感影像。

7、优选的，所述基础模型为pix2pixhd模型，所述像素级监督损失函数用以确定模型输出结果和实际结果之间每个像素点的像素均方误差，并根据像素均方误差大小生成误差惩罚，所述误差惩罚用以引导调整模型参数以最小化所述像素均方误差，所述像素均方误差与误差惩罚的大小呈正相关。

8、优选的，所述基于训练数据训练所述基础模型，包括：

9、按照预设比例将所述训练数据划分为训练样本和测试样本，并基于预设的数据增强策略对训练数据进行处理，所述训练数据中真实修复样本的数量占比小于模拟合成样本的数量占比，所述数据增强策略包括随机缩放、随机翻转、随机参数变换，所述参数包括色彩、亮度、对比度和饱和度；

10、基于所述训练样本和测试样本训练所述基础模型，并在训练过程中根据随机梯度下降方法进行模型反向传播更新，模型的学习率随着训练轮数的增加而衰减。

11、优选的，所述训练数据还包括无修复样本，每个所述真实修复样本和模拟合成样本均为扭曲影像和修复影像组成的一个影像对，所述无修复样本为相同的两个无扭曲影像组成的一个影像对；

12、所述整合各所述第二修复影像，得到所述遥感影像对应的修复遥感影像之后，还包括：

13、当所述遥感影像与第二修复影像之间存在像素差时，基于二值掩膜标注所述第二修复影像的第一修复区域，并对所述第一修复区域进行轮廓提取，生成扭曲变形检测结果，将所述扭曲变形检测结果发送至预设终端；

14、当检测到所述预设终端基于所述扭曲变形检测结果发送的正确样本时，将所述正确样本添加至所述真实修复样本中，并基于所述训练数据优化所述扭曲变形修复模型。

15、优选的，所述真实修复样本中修复影像标注有至少一个预设大小的目标框，所有所述目标框对应的框选区域覆盖所述修复影像的第二修复区域。

16、优选的，生成所述模拟合成样本的所述随机变形操作的种类包括波浪扭曲和挤压变形，每种所述随机变形操作的选取概率相同且独立。

17、优选的，所述基于各所述第一修复影像生成所述第一影像的第二修复影像，包括：

18、将所述第一修复影像的重叠区域划分为多个子重叠区域，根据与所述第一修复影像的影像中心的距离大小为各所述子重叠区域设置权重，距离影像中心越远的子重叠区域的权重越大；

19、对各所述第一修复影像的重叠区域进行加权计算，得到第二修复影像。

20、根据第二方面，提供了一种遥感影像的扭曲变形修复装置，所述装置包括：

21、训练模块，用于以生成对抗网络模型为基础模型，基于训练数据训练所述基础模型，得到扭曲变形修复模型，所述训练数据包括真实修复样本和模拟合成样本，所述真实修复样本基于实际作业过程中通过手动标注得到，所述模拟合成样本基于真实无扭曲变形影像进行随机变形操作后得到，所述真实修复样本的约束损失函数权重大于所述模拟合成样本的约束损失函数权重，所述基础模型中设置有像素级监督损失函数，所述像素级监督损失函数用以确定模型输出结果和实际结果之间每个像素点的像素误差，并根据像素误差大小生成误差惩罚，所述误差惩罚用以引导调整模型参数以最小化所述像素误差；

22、获取模块，用于获取待修复的遥感影像，基于第一预设尺寸将所述遥感影像划分为至少一个第一影像，并基于第二预设尺寸和预设重叠率分别将各所述第一影像划分为多个第二影像；

23、第一修复模块，用于针对任一所述第一影像，基于所述扭曲变形修复模型分别处理各所述第二影像，得到各第一修复影像，并基于各所述第一修复影像生成所述第一影像的第二修复影像；

24、第二修复模块，用于在得到所有所述第二修复影像后，整合各所述第二修复影像，得到所述遥感影像对应的修复遥感影像。

25、根据第三方面，提供了一种电子设备，包括处理器以及存储器；

26、所述处理器与所述存储器相连；

27、所述存储器，用于存储可执行程序代码；

28、所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于执行如第一方面或第一方面的任意一种可能的实现方式提供的方法的步骤。

29、根据第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机可读存储介质中存储有指令，当所述指令在计算机或处理器上运行时，使得所述计算机或处理器执行如第一方面或第一方面的任意一种可能的实现方式提供的方法。

30、本说明书实施例提供的方法及装置，根据生成对抗网络模型训练扭曲变形修复模型，且训练数据中根据真实无扭曲变形影像的随即变形操作生成大量模拟合成样本，以满足生成对抗网络模型对训练样本的需求，同时除了常规的约束损失函数外，额外设置了像素级监督损失函数确定训练结果的像素误差，并通过最小化像素误差来优化模型参数，最终通过训练好的扭曲变形修复模型对遥感影像进行修复，无需人工预处理即可快速准确的对遥感影像进行扭曲变形修复。