一种基于生成对抗网络的SAR图像超分辨率方法

本发明涉及合成孔径雷达图像解译的，具体涉及一种基于生成对抗网络的sar图像超分辨率方法。

背景技术：

1、近些年，国家重点布局遥感卫星对地观测体系建设，合成孔径雷达(syntheticapertureradar，sar)，是一种主动式微波遥感成像雷达，它通过发射线性调频信号来进行目标探测，通过对接收的回波信号进行反演来成像。由于电磁波的穿透性质，可以不受云层遮挡以及光线的影响，因此sar可以全天时、全天候对地观测，广泛军事侦察、舰船监测、灾后救援、山体滑坡监测等领域中。

2、作为主动微波相干成像技术，由于成像系统的局限性，sar图像存在严重的散斑噪声和低分辨率问题。由于低分辨率图像携带的信息较少，不利于图像解译。若要提高对地物识别的精度，就要对其进行超分辨处理。近年来，深度学习的出现打破了传统超分辨算法发展的瓶颈，被广泛应用于图像处理领域中，通过基于深度学习的超分辨重建算法来提高sar图像分辨率成为了一个研究热点。近几年，很多基于深度学习的超分辨重建算法在自然图像超分辨领域取得了很好的效果，并逐渐将其应用于sar图像超分辨重建领域，为了进一步提高sar图像超分辨重建模型的性能。

3、但是现有的基于深度学习进行的sar超分辨率(super-resolution，sr)方法通常通过确定的退化模型重建图像，几乎不考虑乘法散斑噪声。这些约束导致生成的超分辨率sar图像和真实sar图像之间的严重差距，图像纹理细节和边缘信息不够清晰。

技术实现思路

1、针对现有技术中所存在的问题，本发明提供了一种基于生成对抗网络的sar图像超分辨率方法，以解决现有技术中生成的超分辨率sar图像和真实sar图像之间的严重差距，图像纹理细节和边缘信息不够清晰的技术问题。

2、本发明提供了一种基于生成对抗网络的sar图像超分辨率方法，包括：

3、s1、基于cyclegan框架构建对抗训练的sar图像退化模型和sr模型，以及用于判别sar图像相似度和对抗损失的第一判别器和第二判别器；

4、s2、创建真实lr-sar图像和真实hr-sar图像的成对数据集，将所述数据集中真实hr-sar图像输入至所述sar图像退化模型，输出合成lr-sar图像；

5、s3、将所述合成lr-sar图像与数据集中成对的真实lr-sar图像一同输入到第一判别器，计算合成lr-sar图像和真实lr-sar图像的像素级平均绝对误差，记为l1损失；

6、s4、将合成lr-sar图像输入sr模型，输出重建sr-sar图像，并将重建sr-sar图像和真实hr-sar图像一同输入至第二判别器，计算重建sr-sar图像和真实hr-sar图像特征图之间的距离，记为感知损失lpercep；

7、s5、将所述l1损失、感知损失lpercep、所述第一判别器的第一对抗损失lgan1和第二判别器的第二对抗损失lgan2进行权重相加，得到最终的总损失函数，并将所述总损失函数代入所述sar图像退化模型和sr模型以生成超分辨率的sar图像。

8、可选地，所述判别sar图像相似度和对抗损失的第一判别器和第二判别器，包括：

9、将所述第一判别器和第二判别器的目标函数转化为最小和最大问题，并表示为：

10、

11、

12、其中，dl表示第一判别器，dh表示第二判别器，并引入一致性损失来度量sr(deg(ih))和ih，并设计目标函数表示为：

13、

14、并根据第一判别器和第二判别器的最小和最大问题，分别将第一判别器和第二判别器的对抗损失表示为：

15、

16、

17、lgan1为第一判别器的第一对抗损失，lgan2为第二判别器的第二对抗损失。

18、可选地，所述将所述数据集中真实hr-sar图像输入至所述sar图像退化模型，包括：

19、所述sar图像退化模型由模糊核、加性噪声和乘性噪声三个模块组成，所述模糊核、加性噪声和乘性噪声模块均由头部、身体和尾部组成；

20、其中所述头部部分的第一层由1×1或3×3卷积核、1步幅和64个通道的单个卷积层组成，第二层为批量归一化层，第三层为relu激活层；所述身体部分的由16个resblock和64个通道组成；所述尾部由1×1或3×3卷积层和softmax层组成。

21、可选地，所述sar图像退化模型，包括：

22、所述sar图像退化模型表示为：

23、

24、其中，d(x)表示退化函数，x表示真实hr-sar图像，表示卷积，k和n分别表示模糊核和加性噪声，↓s表示s尺度的下采样，n'表示乘性噪声。

25、可选地，所述计算合成lr-sar图像和真实lr-sar图像的像素级平均绝对误差，记为l1损失，包括：

26、所述l1损失的公式表示为：

27、

28、其中，所述y表示真实lr-sar图像，x表示合成lr-sar图像。

29、可选地，所述计算重建sr-sar图像和真实hr-sar图像特征图之间的距离，记为感知损失lpercep，包括：

30、所述感知损失lpercep的公式表示为：

31、

32、所述w和h表示图像的宽度和高度，i和j是特征图的索引，φ表示特征图。

33、可选地，所述将所述l1损失、感知损失lpercep、所述第一判别器的第一对抗损失lgan1和第二判别器的第二对抗损失lgan2进行权重相加，得到最终的总损失函数，包括：

34、所述总损失函数表示为：

35、l(g,f,dx,dy)＝lgan1+λlgan2+ηl1+μlpercep

36、其中，λ、η和μ分别表示所述第二对抗损失、l1损失和感知损失lpercep的权重参数。

37、相比于现有检测技术，本发明具有如下有益效果：

38、根据本发明提供的基于生成对抗网络的sar图像超分辨率方法，构建两个基于深度学习的模型，分别为可学习的退化模型和超分辨率重建sr模型，引入cyclegan的架构中，共同训练。通过cyclegan的对抗损失、真实lr-sar图像和合成lr-sar图像的mae像素级损失，以及真实hr图像和生成的sr图像特征图之间的感知损失，引导生成更高质量的sr-sar图像。相对于传统的sar超分辨率方法，本方案采用真实的成对数据集，通过训练模型以学习真实sar图像hr-lr域之间的内在关系，从而生成质量更高的超分辨率重建的图像。

技术特征：

1.一种基于生成对抗网络的sar图像超分辨率方法，其特征在于，包括：

2.如权利要求1所述的基于生成对抗网络的sar图像超分辨率方法，其特征在于，所述判别sar图像相似度和对抗损失的第一判别器和第二判别器，包括：

3.如权利要求2所述的基于生成对抗网络的sar图像超分辨率方法，其特征在于，所述将所述数据集中真实hr-sar图像输入至所述sar图像退化模型，包括：

4.如权利要求3所述的基于生成对抗网络的sar图像超分辨率方法，其特征在于，所述sar图像退化模型，包括：

5.如权利要求1的基于生成对抗网络的sar图像超分辨率方法，其特征在于，所述计算合成lr-sar图像和真实lr-sar图像的像素级平均绝对误差，记为l1损失，包括：

6.如权利要求1所述的基于生成对抗网络的sar图像超分辨率方法，其特征在于，所述计算重建sr-sar图像和真实hr-sar图像特征图之间的距离，记为感知损失lpercep，包括：

7.如权利要求6所述的基于生成对抗网络的sar图像超分辨率方法，其特征在于，所述将所述l1损失、感知损失lpercep、所述第一判别器的第一对抗损失lgan1和第二判别器的第二对抗损失lgan2进行权重相加，得到最终的总损失函数，包括：

技术总结本发明提供了一种基于生成对抗网络的SAR图像超分辨率方法，本发明基于构建两个基于深度学习的模型，分别为可学习的退化模型和超分辨率重建SR模型，引入CycleGAN的架构中，共同训练。通过CycleGAN的对抗损失、真实LR‑SAR图像和合成LR‑SAR图像的MAE像素级损失，以及真实HR图像和生成的SR图像特征图之间的感知损失，引导生成更高质量的SR‑SAR图像。相对于传统的SAR超分辨率方法，本方案采用真实的成对数据集，通过训练模型以学习真实SAR图像HR‑LR域之间的内在关系，从而生成质量更高的超分辨率重建的图像。技术研发人员：胡宇昂,师皓,陈亮,何静飞,尹逸斐,徐明受保护的技术使用者：北京理工大学技术研发日：技术公布日：2024/8/1