基于无监督多阶段融合网络的遥感图像超分辨率重建方法与流程

1.本发明属于图像处理技术领域，更进一步涉及图像超分辨率重建技术领域中的一种基于无监督多阶段融合网络的遥感图像超分辨率重建方法。本发明可用于对遥感图像中的低分辨率图像进行重建。


背景技术：

2.在遥感领域中图像超分辨率是从低分辨率图像观测中重建高分辨率图像，其中，基于实例学习的图像超分辨率重建方法是假设低分辨率图像与对应高分辨率图像存在一定的映射关系，通过学习这一映射关系，并将其转移到输入的低分辨率特征空间来重建高分辨率图像。因此遥感图像超分辨率方法可以用于环境监测和目标检测。然而由于受到硬件传输设备的影响，图像在传输和压缩过程中会丢失信息，现有的遥感图像超分辨率重建方法对真实遥感图像重建效果差、易产生错误的伪影，难以实际应用。
3.四川大学在其申请的专利文献“基于自适应联合约束的遥感图像超分辨率重建方法”(专利申请号：201910027043.1；申请公布号：cn109741263a)中公开了一种遥感图像的超分辨率重建方法。该方法使用双三次插值对低分辨率图像进行上采样，将得到的高分辨率图像组成训练集，通过学习到高分辨率图像的字典，利用图像的非局部自相似性，构建非局部稀疏先验；然后提出一个基于图像局部梯度的局部结构滤波器，构建结构保持局部先验；最后融合非局部和局部的先验使用交替迭代方法重构高分辨率图像。该方法存在的不足之处是，对低分辨率图像使用双三次插值上采样，得到匹配的高分辨率图像生成训练集，训练好的网络只能在与训练集具有相同退化环境下的遥感图像表现良好的性能，当未知退化的真实的遥感图像包含传感器噪声和混叠效应时输出的视觉效果差。
4.zhang等人在其发表的论文“unsupervised remote sensing image super
‑
resolution using cycle cnn”(international geoscience and remote sensing symposium.ieee,2019：3117
‑
3120)中提出了一种基于循环神经网络的无监督遥感图像超分辨率重建方法。该方法受循环生成对抗网络的启发，使用非配对的数据集进行网络的训练，整个网络由两个循环网络组成，第一个循环网络以低分辨率训练图像为输入，经过生成网络一生成高分辨率图像，高分辨率图像再经过生成网络二生成低分辨率图像；第二个循环网络以高分辨率训练图像为输入，经过生成网络二生成低分辨率图像，低分辨率图像再经过生成网络一生成高分辨率图像，整个网络使用2
‑
范数进行约束。虽然该方法的图像重建效果显著，但是，该方法仍然存在的不足之处是，构建的循环网络在像素级别使用2
‑
范数对遥感图像的降质和重建过程约束，忽略了图像全局感知的判别真实度，导致网络重建效果略平滑，纹理细节不足。


技术实现要素：

5.本发明的目的在于针对上述已有技术的不足，提出一种基于无监督多阶段融合网络的遥感图像超分辨率重建方法，用于解决现有遥感图像超分辨率技术鲁棒性、实用性差
的问题，同时还用于解决现有技术超分辨率重建后的遥感图像存在的图像纹理不清晰的问题。
6.实现本发明目的的思路是：构建由初始特征表示模块、多尺度特征融合模块和图像重建模块组成多阶段融合网络，有效利用深度网络中的多层次特征，对细节信息的恢复和内容的保留起到了积极的作用，并且生成非匹配的高分辨率遥感图像和符合真实降质的低分辨率遥感图像作为训练数据，使多阶段融合网络能更好的对真实低分辨率遥感图像进行超分辨率重建，解决当前遥感图像超分辨率重建技术鲁棒性、实用性差的问题。本发明通过构建内容一致性损失函数、感知内容一致性损失函数和感知分步一致性损失函数，依次对网络进行内容一致性、感知内容一致性和感知分布一致性三个阶段的训练，第一和阶段第二阶段的训练着重于图像像素级别的约束，第三阶段的训练着重与图像全局感知的约束，这种多阶段的训练可以达到在超分过程中保留图像低频信息的同时重建出真实且结构清晰的纹理，获得优秀的视觉效果。
7.实现本发明目的的技术方案如下：
8.步骤1，构建多阶段融合网络：
9.(1a)搭建一个由特征提取子模块组和一个卷积层级联组成多尺度特征融合模块，将卷积层的特征映射图总数设置为64，卷积核大小为3
×
3，补零为1，步长为1；
10.所述特征提取子模块组由8个结构相同和参数相等的特征提取子模块密集连接组成，每个特征提取子模块由残差单元组、1个通道融合层和1个卷积层级联组成；将通道融合层的特征映射图总数设置为128，将卷积层的特征映射图总数设置为64，卷积核大小为1
×
1，步长为1；
11.(1b)搭建一个由第1卷积层，第2卷积层，激活层，第3卷积层级联的图像重建模块；将第1层卷积层的卷积核的个数设置为64
×
低分辨率图像的放大倍数
×
低分辨率图像的放大倍数，卷积核的大小为3
×
3，补零为1，步长为1；将第2卷积层设置为亚像素卷积层，参数为低分辨率图像的放大倍数；激活层采用线性整流函数；将第3卷积层的卷积核的个数为3，卷积核大小为3
×
3，补零为1，步长为1；
12.(1c)将初始特征表示模块，多尺度特征融合模块和图像重建模块级联组成多阶段融合网络；
13.步骤2，生成非匹配的训练集：
14.(2a)将至少1000张低分辨率低质量的遥感图像和至少400张高分辨率高质量的遥感图像组成数据集，且对数据集中的每张图像进行预处理；
15.(2b)将预处理后的每张低分辨率低质量遥感图像随机裁剪为74
×
74的小图像块，将每张高分辨率高质量遥感图像随机裁剪为74
×
放大倍数的大图像块；
16.(2c)将裁剪后所有的低分辨率图像块和高分辨率图像块组成非匹配的训练集；
17.步骤3，构建一致性损失函数：
18.(3a)构建内容一致性损失函数l
cc
如下：
[0019][0020]
其中，||
·
||1表示1
‑
范数操作，down(
·
)表示双立方插值下采样操作，表示将训练集中的第i张低分辨率图像块输入到多阶段融合网络后网络输出的图像块，表示训
练集中第i张低分辨率图像块；
[0021]
(3b)构建感知内容一致性损失函数l
pcc
如下：
[0022][0023]
其中，表示将经过高斯模糊处理后输入vgg19网络中得到的深层特征图，表示将经过双立方插值上采样后输入vgg19网络中得到的深层特征图，表示将经过双立方插值下采样后输入vgg19网络中得到的浅层特征图，表示将输入vgg19网络中得到的浅层特征图；
[0024]
(3c)构建感知分布一致性损失函数l
gen
如下：
[0025][0026]
其中，表示求数学期望操作，log(
·
)表示以10为底的对数操作，表示训练集中第i张高分辨率图像块，表示在条件下，对判断真伪操作，表示在条件下，对判断真伪操作；
[0027]
(3d)构建判别损失函数如下：
[0028][0029]
其中，l
dis
表示判别损失函数；
[0030]
步骤4，对多阶段融合网络进行内容一致性训练：
[0031]
将训练集所有的低分辨率图像块依次输入到多阶段融合网络，该网络进行前向传播得到超分后的高分辨率图像块，使用内容一致性损失函数计算该阶段网络的误差值，将误差值输入到adam优化器中，计算网络每个卷积层的每个卷积核的所有梯度，迭代更新多阶段融合网络每个卷积层的每个卷积核的权重500代，完成对多阶段融合网络的内容一致性训练，保存该阶段训练好的多阶段融合网络中每个卷积层的每个卷积核的所有权重；
[0032]
步骤5，对内容一致性训练后的多阶段融合网络进行感知内容一致性训练：
[0033]
将训练集所有的低分辨率图像块依次输入到一致性训练后的多阶段融合网络中，该网络进行前向传播得到超分后的高分辨率图像块，使用感知内容一致性损失函数计算该阶段网络的误差值，将网络的误差值输入到adam优化器中，计算网络每个卷积层的每个卷积核的所有梯度，迭代更新网络每个卷积层的每个卷积核的权重500代，完成对多阶段融合网络的感知内容一致性训练，保存该阶段训练好的多阶段融合网络中每个卷积层的每个卷积核的所有权重；
[0034]
步骤6，对感知内容一致性训练后的多阶段融合网络进行感知分布一致性训练：
[0035]
(6a)将训练集所有的低分辨率图像块依次输入到感知内容一致性训练后得多阶段融合网络，该网络进行前向传播得到超分后的高分辨率图像块，使用感知分布一致性损失函数计算该阶段网络误差值；将网络的误差值输入到adam优化器中，计算网络每个卷积层的每个卷积核的所有梯度，更新多阶段融合网络每个卷积层的每个卷积核的所有权重；
[0036]
(6b)将重建后的高分辨率图像块和训练集中的高分辨率图像块输入到判别网络中，使用判别损失函数计算判别网络的误差值，将判别网络的误差值输入到adam优化器中，
计算判别网络每个卷积层的每个卷积核的所有梯度，更新判别网络每个卷积层的每个卷积核的所有权重；
[0037]
(6c)依次重复执行步骤(6a)、(6b)，对感知内容一致性训练后的多阶段融合网络和判别网络进行交替训练，迭代更新参数300代，得到最终训练好的多阶段融合，保存训练好多阶段融合网络中每个卷积层的每个卷积核的所有权重；
[0038]
步骤7，对遥感图像进行超分辨率重建：
[0039]
将待重建的低分辨率遥感图像输入到训练好的多阶段融合网络，输出该图像的高分辨率图像。
[0040]
本发明与现有技术相比具有以下优点：
[0041]
第一，由于本发明可以使用非匹配的高分辨率遥感图像和符合真实降质的低分辨率遥感图像组成的训练数据，达到无监督训练的目的，通过多阶段融合网络，有效利用多阶段融合网络中的多层次特征，解决了现有技术对真实遥感图像重建效果差的缺点，使得本发明在重建真实低分辨率遥感图像时具有较好鲁棒性和实用性。
[0042]
第二，本发明利用构建的内容一致性损失函数、感知内容一致性损失函数和感知分步一致性损失函数，依次对多阶段融合网络进行内容一致性、感知内容一致性和感知分布一致性三个阶段的训练，在保留低分辨率图像上的内容的同时从低分辨率图像中挖掘其底层的感知相似性，解决了现有技术对遥感图像重建得到的高分辨率图像纹理模糊的问题，使得本发明重建后的高分辨率遥感图像具有真实清晰的纹理，视觉效果突出的优点。
附图说明
[0043]
图1是本发明的流程图；
[0044]
图2是用本发明的仿真图。
具体实施方式
[0045]
下面结合附图和实施例对本发明做进一步的描述。
[0046]
参照图1，对本发明实现的具体步骤做进一步的描述。
[0047]
步骤1，构建多阶段融合网络。
[0048]
搭建一个由特征提取子模块组和一个卷积层级联组成多尺度特征融合模块，将卷积层的特征映射图总数设置为64，卷积核大小为3
×
3，补零为1，步长为1。
[0049]
所述特征提取子模块组由8个结构相同和参数相等的特征提取子模块密集连接组成，每个特征提取子模块由残差单元组、1个通道融合层和1个卷积层级联组成；将通道融合层的特征映射图总数设置为128，将卷积层的特征映射图总数设置为64，卷积核大小为1
×
1，步长为1。
[0050]
所述的8个结构相同和参数相等的特征提取子模块密集连接指的是，将第一个特征提取子模块的输入与第一个特征提取子模块的输出并联，作为第二个特征提取子模块的输入；将第二个特征提取子模块的输入与第二个特征提取子模块的输出并联，作为第三个特征提取子模块的输入；以此类推至第8个特征提取模块。
[0051]
所述的残差单元组由8个结构相同和参数相等的残差单元级联组成，每个残差单元由第1卷积层，激活层和第2卷积层组成，每个残差单元中第1卷积层的输入叠加到第2卷
积层的输出；所有卷积层的特征映射图总数均设置为64，卷积核大小均为3
×
3，补零均为1，步长均设置为1，激活层均采用非线性整流函数。
[0052]
搭建一个由第1卷积层，第2卷积层，激活层，第3卷积层级联的图像重建模块；将第1层卷积层的卷积核的个数设置为64
×
低分辨率图像的放大倍数
×
低分辨率图像的放大倍数，卷积核的大小为3
×
3，补零为1，步长为1；将第2卷积层设置为亚像素卷积层，参数为低分辨率图像的放大倍数；激活层采用线性整流函数；将第3卷积层的卷积核的个数为3，卷积核大小为3
×
3，补零为1，步长为1。
[0053]
将初始特征表示模块，多尺度特征融合模块和图像重建模块级联组成多阶段融合网络。
[0054]
所述的初始特征表示模块由一个卷积层组成，该卷积层特征映射图总数为64，卷积核大小为3
×
3，补零为1，步长为1。
[0055]
步骤2，生成非匹配的训练集。
[0056]
将至少1000张低分辨率低质量的遥感图像和至少400张高分辨率高质量的遥感图像组成数据集，且对数据集中的每张图像进行预处理。
[0057]
所述的初始化操作是指，对每张图像依次进行归一化、水平翻转和旋转90
°
。
[0058]
将预处理后的每张低分辨率低质量遥感图像随机裁剪为74
×
74的小图像块，将每张高分辨率高质量遥感图像随机裁剪为74
×
放大倍数的大图像块。
[0059]
将裁剪后所有的低分辨率图像块和高分辨率图像块组成非匹配的训练集。
[0060]
步骤3，构建一致性损失函数。
[0061]
构建内容一致性损失函数l
cc
如下：
[0062][0063]
其中，||
·
||1表示1
‑
范数操作，down(
·
)表示双立方插值下采样操作，表示将训练集中的第i张低分辨率图像块输入到多阶段融合网络后网络输出的图像块，表示训练集中第i张低分辨率图像块。
[0064]
所述的双立方插值下采样操作是由下述公式完成的：
[0065][0066]
其中，f(a,b)表示对下采样后得到的图像块中位于(a,b)坐标点的像素值，f(a
m
,b
n
)表示图像块中位于(a
m
,b
n
)坐标点的像素值，w(a
‑
a
m
)和w(b
‑
b
n
)均为高斯核函数，可用w(x)描述为：
[0067][0068]
其中，c表示取值为0.5的常数，x表示像素点(a,b)位置与像素点(a
m
,b
n
)位置在水平方向上的偏差a
‑
a
m
和竖直方向上的偏差b
‑
b
n
，|
·
|表示取绝对值操作。
[0069]
构建感知内容一致性损失函数l
pcc
如下：
[0070][0071]
其中，表示将经过高斯模糊处理后输入vgg19网络中得到的深层特征图，表示将经过双立方插值上采样后输入vgg19网络中得到的深层特征图，表示将经过双立方插值下采样后输入vgg19网络中得到的浅层特征图，表示将输入vgg19网络中得到的浅层特征图。
[0072]
构建感知分布一致性损失函数l
gen
如下：
[0073][0074]
其中，表示求数学期望操作，log(
·
)表示以10为底的对数操作，表示训练集中第i张高分辨率图像块，表示在条件下，对判断真伪操作，表示在条件下，对判断真伪操作。
[0075]
构建判别损失函数如下：
[0076][0077]
其中，l
dis
表示判别损失函数。
[0078]
步骤4，对多阶段融合网络进行内容一致性训练。
[0079]
将训练集所有的低分辨率图像块依次输入到多阶段融合网络，该网络进行前向传播得到超分后的高分辨率图像块，使用内容一致性损失函数计算该阶段网络的误差值，将误差值输入到adam优化器中，计算网络每个卷积层的每个卷积核的所有梯度，迭代更新多阶段融合网络每个卷积层的每个卷积核的权重500代，完成对多阶段融合网络的内容一致性训练，保存该阶段训练好的多阶段融合网络中每个卷积层的每个卷积核的所有权重。
[0080]
步骤5，对内容一致性训练后的多阶段融合网络进行感知内容一致性训练。
[0081]
将训练集所有的低分辨率图像块依次输入到一致性训练后的多阶段融合网络中，该网络进行前向传播得到超分后的高分辨率图像块，使用感知内容一致性损失函数计算该阶段网络的误差值，将网络的误差值输入到adam优化器中，计算网络每个卷积层的每个卷积核的所有梯度，迭代更新网络每个卷积层的每个卷积核的权重500代，完成对多阶段融合网络的感知内容一致性训练，保存该阶段训练好的多阶段融合网络中每个卷积层的每个卷积核的所有权重。
[0082]
步骤6，对感知内容一致性训练后的多阶段融合网络进行感知分布一致性训练。
[0083]
第1步，将训练集所有的低分辨率图像块依次输入到感知内容一致性训练后得多阶段融合网络，该网络进行前向传播得到超分后的高分辨率图像块，使用感知分布一致性损失函数计算该阶段网络误差值；将网络的误差值输入到adam优化器中，计算网络每个卷积层的每个卷积核的所有梯度，更新多阶段融合网络每个卷积层的每个卷积核的所有权重。
[0084]
第2步，将重建后的高分辨率图像块和训练集中的高分辨率图像块输入到判别网络中，使用判别损失函数计算判别网络的误差值，将判别网络的误差值输入到adam优化器
中，计算判别网络每个卷积层的每个卷积核的所有梯度，更新判别网络每个卷积层的每个卷积核的所有权重。
[0085]
本发明的实施例中判别网络采用是vgg
‑
296网络。
[0086]
依次重复执行本步骤的第1步和第2步，对感知内容一致性训练后的多阶段融合网络和判别网络进行交替训练，迭代更新参数300代，得到最终训练好的多阶段融合，保存训练好多阶段融合网络中每个卷积层的每个卷积核的所有权重。
[0087]
步骤7，对遥感图像进行超分辨率重建。
[0088]
将待重建的低分辨率遥感图像输入到训练好的多阶段融合网络，输出该图像的高分辨率图像。
[0089]
下面结合仿真实验对本发明的效果做进一步的描述。
[0090]
1.仿真实验条件：
[0091]
本发明的仿真实验的硬件平台：处理器为intel(r)core(tm)i9
‑
9980xe cpu、主频为3.0ghz、内存为128gb、显卡为三块geforce rtx titan。
[0092]
软件平台：ubuntu 18.04操作系统，pytorch 1.6。
[0093]
本发明仿真实验所使用的测试样本集的图像为由武汉大学于2011年发布的whu
‑
rs19数据集中随机选取的100张遥感图像，该100张遥感图像包含了19个类别的场景影像，图像大小均为600
×
600个像素，图像格式为jpg。对该100张进行双立方插值下采样得到测试样本集1，对该100张进行高斯模糊处理和双立方插值下采样后得到测试样本集2。
[0094]
2.仿真内容及其结果分析：
[0095]
本发明仿真实验是采用本发明和三个现有技术(edsr方法、rcan方法、imdn方法)训练好的网络，分别对输入的测试样本集1和测试样本集2进行超分辨率重建，获得超分辨率结果图。
[0096]
为了验证本发明的仿真实验效果，将本发明和三个现有技术对测试样本集1重建后的图像分别采用自然图像质量评价niqe、学习感知图像块相似性lpips评价指标，对本发明仿真实验的超分辨率仿真结果进行质量评价，两个评价指标越低，说明重建后的图像效果越好。
[0097]
为了验证本发明的仿真实验效果，将本发明和三个现有技术对测试样本集2重建后的图像分别采用峰值信噪比psnr、结构相似度ssim这两个评价指标作为客观评价指标，对本发明仿真实验的超分辨率仿真结果进行质量评价，两个评价指标越高，说明重建后的图像效果越好。
[0098]
仿真实验中分别使用本发明及其现有先进方法中的三种方法：
[0099]
现有技术的edsr方法是指，lim等人在其发表的“enhanced deep residual networks for single image super
‑
resolution”(in proceedings of the ieee conference on computer vision and pattern recognition workshops,21
‑
26july 2017,pp.136
–
144.)中采用的增强的深度残差网络对测试样本进行超分辨率重建方法。
[0100]
现有技术的rcan方法是指，zhang等人在其发表的“image super
‑
resolution using very deep residual channel attention networks.”(in proceedings of the european conference on computer vision,2018,pp.286
–
301.)中采用使用非常深的残差通道注意网络进行超分辨率重建方法。
[0101]
现有技术中的imdn方法是指，hui等人在其发表的“lightweight image super
‑
resolution with information multi
‑
distillation network.”(in proceedings of the mm’19:27th acm international conference on multimedia,2019,pp.2024
–
2032.)采用信息多级蒸馏的超分辨率重建方法对测试样本进行超分辨率重建方法。
[0102]
下面从输入的测试样本集1中选取“desert43”图为例，结合图2对本发明的仿真效果做进一步的描述。其中：图2(a)是测试样本中的高分辨率“desert43”图，图2(b)是使用双立方插值对低分辨率“desert43”图进行重建的结果图，图2(c)是使用edsr对低分辨率“desert43”图进行重建的结果图，图2(d)是使用rcan对低分辨率“desert43”图进行重建的结果图，图2(e)是使用imdn对低分辨率“desert43”图进行重建的结果图，图2(f)是使用本发明对低分辨率“desert43”图进行重建的结果图。
[0103]
对比图2(c)、图2(d)、图2(e)和图2(f)可以看出，本发明在对沙漠纹理结构轮廓的重建效果较现有技术中的三种方法更加清晰且更加自然。
[0104]
本发明与上述现有三种方法重建测试样本集1中所有的客观评价指标的平均值的对比结果如表1所示：
[0105]
表1本发明与对比方法重建图像的客观评价值评价表
[0106][0107]
由表1可以看出，本发明重建测试样本whu
‑
rs19后的两个评价指标的平均值均高于上述现有技术中的三种方法，说明本发明重建的图像更接近原始高分辨率的图像，并取得更好的视觉效果。
[0108]
本发明与上述现有三种方法重建测试样本集2中所有图像的客观评价指标的平均值的对比结果如表2所示：
[0109]
表2本发明与对比方法重建图像的客观评价值评价表
[0110][0111]
由表2可以看出，本发明重建测试样本whu
‑
rs19后的两个客观评价指标的平均值均高于上述现有技术中的三种方法，说明本发明更具有鲁棒性和实用性，取得更好的重建效果。