一种基于遥感目标识别任务驱动的图像超分辨方法与流程

本发明属于图像增强和图像识别，具体涉及一种基于遥感目标识别任务驱动的图像超分辨方法。

背景技术：

1、图像超分辨率属于图像恢复和增强算法，例如去噪和去模糊,在计算机视觉和图形学领域得到广泛研究。低分辨率遥感图像小目标识别是遥感图像解译的中的难点问题，其可视化信息少造成小目标难以凭借自身信息，提取强区分性特征用于与背景或者其他目标进行分类识别。图像超分辨是解决这个问题的一种可行方法。然而，传统的超分辨方法旨在自然场景图像的细节纹理特征，重视符合人类视觉系统的图像质量，但忽视了下游任务如图像识别等所需要强判别区分性的信息。

2、其次，与自然场景图像相比，遥感图像内的目标具有任意姿态、光照变化，遥感场景图像的超分辨更具有挑战性。因此，需要一个以目标识别任务为驱动，目标内容感知的图像超分辨网络生成清晰、锐利且具有可识别性的高分辨图像，提升下游图像识别任务的性能。

技术实现思路

1、有鉴于此，本发明提出基于遥感目标识别任务驱动的图像超分辨方法，用于解决图像超分辨任务忽视下游任务所需要的强判别性信息和低分辨率遥感图像小目标识别问题，通过网络架构和损失函数有机结合，驱动超分辨网络生成具有高分辨率、强判别式信息的超分辨图像，并将低分辨率小目标特征映射成与高分辨率目标相近的特征，提升了下游识别任务对小目标和背景干扰物的判别能力。本发明的技术解决方案是：

2、一种基于遥感目标识别任务驱动的图像超分辨方法，包括如下步骤：

3、步骤1：获取至少一副低分辨率的遥感目标切片图像，图像大小为，对目标切片图像进行标准差归一化处理；

4、步骤2：对srgan的生成式网络进行改进，使得改进后的生成式网络能对输入的低分辨目标切片图像进行上采样操作，并进行去模糊操作，最终得到清晰的高分辨率重构图像；

5、步骤3：在srgan的判别式网络中加入了细粒度识别分支。细粒度识别分支用于增强小目标与地面背景干扰物的区分的能力；

6、步骤4：设计一种多任务分类损失函数进行联合学习，驱动超分辨网络生成具有高分辨率、强判别式信息的超分辨图像，并且使得超分辨重构与目标精确分类任务在训练过程信息互补。多任务分类损失函数由内容损失函数、对抗性损失函数和分类损失函数构成。

7、作为本发明的基于遥感目标识别任务驱动的图像超分辨方法的进一步优选方案，所述步骤2具体包含如下步骤：

8、步骤2.1，在srgan中生成式网络 g 的残差模块中删除了 bn 层；

9、步骤2.2，由于低分辨率小目标本身的像素过小，导致其缺乏细节信息，加之均方差损失函数本身的影响，使得生成式网络生成的超分辨重构图像往往会变得模糊。这种状况可能会影响后续判别式网络对真实高分辨率图像和超分辨率图像以及小目标与地面背景干扰物的判别。为了解决这个问题，本发明在生成式网络g内级联一个细化子网络用于去模糊。

10、细化子网络的主要功能是通过对比分析高分辨率重构图像与真实高分辨率图像之间的差异，执行去模糊操作，以此提高重构图像的质量。该网络在去除模糊效果后，能够较为显著提升目标边缘和整体图像的清晰度，也进一步提升后续判别式网络的判别能力和目标精确分类网络去除地面背景干扰物的能力。

11、作为本发明的基于遥感目标识别任务驱动的图像超分辨方法的进一步优选方案，所述步骤3具体包含如下步骤：

12、步骤3.1，避免小目标经过过多的下采样操作而丢失重要的特征信息，在srgan的判别式网络网络中去除了 vgg16 网络中“conv5”层中的最大池化操作；

13、步骤3.2，为了srgan的判别式网络具有多任务的功能，将 vgg16 网络中的三层全连接层由一个全连接层和双线性池化组成的并行分支进行替代。其中，全连接层所在的分支负责区分真实高分辨率图像与超分辨率图像，双线性池化所在的分支负责区分小目标与地面背景干扰物。

14、作为本发明的一种基于遥感目标识别任务驱动的图像超分辨方法的进一步优选方案，所述步骤4具体包含如下步骤：

15、步骤4.1，保留srgan的内容损失函数中的逐像素均方误差损失函数作为内容损失函数，去除了srgan的vgg特征匹配损失函数来减少计算复杂度，逐像素均方误差损失的计算方法如下：

16、

17、其中，和分别表示第张低分辨率模糊图像和真实高分辨率图像；表示图像经过上采样子网络处理后生成的图像；表示图像经过上采样子网络和细化子网络后生成的超分辨图像；和分别表示上采样子网络和细化子网络；参数输入图像的数量；表示范数，用于求取均方值误差损失；

18、步骤4.2，为了减少真实图像和超分辨率图像之间的视觉差异，将gan网络中的对抗损失函数添加到目标损失函数中；对抗损失函数的定义如下：

19、

20、其中，一般取2、自然常数e和10为底数；表示判别式网络；表示超分辨率重构图像是真实高分辨率图像的概率；生成式网络学习的是真实高分辨图像数据的分布,让自身生成的超分辨率重构图像更加真实。上述过程通过对抗损失函数驱动生成与真实高分辨图像足够相似的重构图像；

21、步骤4.3，判别式网络是一个多任务分类的网络，不仅能判别高分辨率图像和生成的重构图像，而且能识别候选区域是否为飞机目标；分类损失函数的定义如下：

22、

23、其中，一般取2、自然常数e和10为底数；表示图像对应的标签信息；当时，图像为飞机小目标，而当时，图像为地面背景干扰物；利用分类损失函数引导判别式网络学会区分真实高分辨率图像与超分辨重构图像以及小目标与地面背景干扰物，促进生成式网络重建更清晰的图像，以便于目标分类；

24、步骤4.4，将上述内容损失函数、对抗损失函数和分类损失函数结合起来，设计多任务分类损失函数，定义如下：

25、

26、其中和是权重参数,且默认值分别为，。

27、本发明所达到的有益效果为：

28、本发明针对传统的超分辨率方法主要侧重于提升模糊、低分辨率图像的图像质量，而不是为下游识别任务构建具有强判别信息的高分辨率图像的问题，设计了一种基于遥感目标识别任务驱动的图像超分辨方法。该方法以srgan为基准模型，包含生成式网络和判别式网络两个部分。与srgan不同，生成式网络包含上采样子网络和细化子网络两个组件。上采样子网络的功能是将低分辨图像进行上采样操作，得到高分辨率重构图像。细化子网络是在比较高分辨率重构图像与真实高分辨率图像差异的基础，恢复上采样图像中的缺少细节信息，从而生成清晰的高分辨率图像用于判别式网络进行分类。除此之外，本发明在srgan的判别式网络中加入了细粒度识别分支和多任务分类损失函数。

29、本发明为了将超分辨任务与目标识别任务信息互补，设计了一种基于遥感目标识别任务驱动的图像超分辨方法。本发明的优点是：通过网络架构和损失函数有机结合，驱动超分辨网络生成的超分辨图像更关注于目标本身的重建，而不是不相关的背景区域，从而使得重构后的超分辨图像不仅图像质量清晰，且包含可区分性特征，提升遥感目标识别的性能。此外，该发明也能将低分辨率小目标特征映射成与高分辨率目标相近的特征，提升了小目标的分类识别能力。