基于改进生成对抗网络的图像超分辨率重建方法及系统

本技术属于图像处理，具体涉及基于改进生成对抗网络的图像超分辨率重建方法及系统。

背景技术：

1、图像超分辨率重建是指将低分辨率图像转换为含有更多高频信息和纹理细节的高分辨率图像，该技术被广泛运用在各个领域，如人脸识别、视频监控、卫星遥感和医学影像等。随着深度学习技术的发展，一些深度学习方法也被引入图像超分辨率的重建中，例如超分辨率生成对抗网络(srgan)。srgan通过对低分辨率图像进行超分辨率重建，尽可能真实的还原图像的纹理信息，生成高分辨率图像，改善图像的视觉效果。但srgan也有不足：其不能充分提取图像中的边缘信息，重建图像边缘效果不佳；同时，在网络训练中易出现训练不稳现象。

技术实现思路

1、鉴于现有技术的以上问题，本技术提供一种基于改进生成对抗网络的图像超分辨率重建方法及系统，该方法及系统可解决重建图像边缘效果不佳以及训练过程不稳定的问题。

2、为达到上述目的，本技术第一方面提供基于改进生成对抗网络的图像超分辨率重建方法，包括：采用包含高、低分辨率图像的样本集训练生成对抗网络，其中生成对抗网络包括生成网络和判别网络；以及采用训练完毕的生成网络进行图像超分辨率重建；

3、所述生成网络包括顺次连接的特征预提取模块，残差网络和高分辨率重建模块；所述残差网络包括若干级联的残差模块，所述残差模块包括残差块、全局注意力模块和通道自注意力模块；其中：

4、全局注意力模块，用来将从残差块输出的残差特征图分别聚合为水平和竖直方向的方向感知特征映射，以及用来从残差块输出的残差特征图提取全局特征信息，将水平和竖直方向的方向感知特征映射、全局特征信息和从残差块输出的残差特征图融合并输入通道自注意力模块；

5、通道自注意力模块，用来预测各特征通道权重，并采用权重对输入的融合特征信息进行通道特征信息的加权求和，将加权求和后的特征信息与全局注意力模块输出的融合特征信息再次融合后输出。

6、在一些具体实施方式中，残差块，用来从输入的低级特征信息中提取高级特征信息，将提取的高级特征信息与输入的特征信息融合，并输入全局注意力模块。

7、进一步的，残差块包括顺次串接的特征通道数扩大子模块，非线性映射子模块，特征通道数还原子模块，第一特征提取子模块，第一特征融合子模块；其中：

8、特征通道数扩大子模块用来将特征通道数进行扩大，非线性映射子模块用来对输入的低级特征信息进行非线性映射，特征通道数还原子模块用来将特征通道数还原，第一特征提取子模块用来提取低级特征信息中的高级特征信息，第一特征融合子模块用来原始输入的低级特征信息与所提取的高级特征信息融合并输出。

9、进一步的，残差块中批归一化层均采用谱归一化层替换。

10、在一些具体实施方式中，全局注意力模块包括方向感知特征提取子模块，用来将从残差块输出的残差特征图分别聚合为水平和竖直方向的方向感知特征映射；

11、所述方向感知特征提取子模块包括：

12、水平方向权重提取单元和竖直方向权重提取单元，分别用来从残差块输出的残差特征图中提取水平和竖直方向的权重信息；

13、拼接单元，用来对水平和竖直方向的权重信息进行拼接；

14、特征提取单元，用来从拼接后的权重信息中提取特征信息；

15、水平方向感知特征映射单元和竖直方向感知特征映射单元，分别用来将从特征提取单元提取的特征信息聚合为水平和竖直方向的方向感知特征映射。

16、在一些具体实施方式中，全局注意力模块包括全局特征提取子模块，用来对从残差块输出的特征信息进行平均池化操作，提取全局特征信息。

17、在一些具体实施方式中，通道自注意力模块包括：

18、第二特征提取子模块，用来对输入的特征信息进行提取；

19、特征图压缩子模块，用来对所提取的特征信息进行尺度压缩；

20、通道权值预测子模块，用来预测所输入特征信息的各特征通道的权重；

21、通道宽度相乘子模块，用来采用权重对第二特征提取子模块所提取的特征信息，进行通道特征信息的加权求和；

22、第三特征融合子模块，用来将加权求和后的特征信息与全局注意力模块输出的特征信息融合后输出。

23、进一步的，通道权值预测子模块包括顺次连接的第一全连接层、激活层、第二全连接层和归一化层；第一全连接层和第二全连接层用来对各特征通道的重要性进行预测，获得各特征通道的权重；第一全连接层还用来降低特征信息的维度，第二全连接层还用来将特征信息进行恢复，归一化层用来将恢复的特征信息各特征通道的权重进行归一化。

24、在一些具体实施方式中，采用包含高、低分辨率图像的样本集训练生成对抗网络，包括：

25、(1)采用训练样本集预训练生成网络；

26、(2)将测试样本集中低分辨率图像输入生成网络，；

27、(3)将低分辨率图像对应的真实高分辨率图像与重建高分辨率图像输入预训练vgg19网络，提取真实高分辨率图像与重建高分辨率图像的特征，并计算感知损失；

28、(4)将真实高分辨率图像与重建高分辨率图像输入判别网络，提取真实高分辨率图像与重建高分辨率图像的特征，并计算内容损失；

29、(5)当遍历完所有重建高分辨率图像的特征后，计算对抗损失；

30、(6)根据感知损失、内容损失和对抗损失按预设比例求和得到综合损失；

31、(7)将综合损失迭代进生成网络对生成网络进行更新，再重复步骤(2)～(6)，直至判别网络的对抗损失趋于0，结束训练；

32、其中样本集包括训练样本集和测试样本集；

33、所述判别网络为改进的vgg19网络，其在vgg19网络中第一组卷积层+leaky relu激活函数后，连接一用来增强高频特征信息的第一注意力模块；以及在8层卷积层后再次串接一用来增强高频特征信息的第二注意力模块。

34、在一些具体实施方式中，判别网络为改进的vgg19网络，其在vgg19网络中第一组卷积层+leaky relu激活函数后，连接一用来增强高频特征信息的第一注意力模块；以及在8层卷积层后再次串接一用来增强高频特征信息的第二注意力模块。

35、进一步的，判别网络中采用谱归一化层替换所述vgg19网络中批归一化层。

36、本技术第二方面提供基于改进生成对抗网络的图像超分辨率重建系统，包括一生成网络，所述生成网络包括顺次连接的特征预提取模块，残差网络和高分辨率重建模块；所述特征预提取模块用来提取低分辨率图像的低级特征信息并输入残差网络；所述高分辨率重建模块用来根据残差网络输出的残差特征图重建高分辨率图像；所述残差网络包括若干级联的残差模块，所述残差模块包括残差块、全局注意力模块和通道自注意力模块；残差模块输出的残差特征图输至下一级残差模块，最后一级残差模块输出的残差特征图输至高分辨率重建模块；其中：

37、残差块，用来提取残差特征图；

38、全局注意力模块，用来将从残差块输出的残差特征图分别聚合为水平和竖直方向的方向感知特征映射，以及用来从残差块输出的残差特征图提取全局特征信息，将水平和竖直方向的方向感知特征映射、全局特征信息和从残差块输出的残差特征图融合并输入通道自注意力模块；

39、通道自注意力模块，用来预测各特征通道权重，并采用权重对输入的融合特征信息进行通道特征信息的加权求和，将加权求和后的特征信息与全局注意力模块输出的融合特征信息再次融合后输出。

40、与现有技术相比，本技术具有如下优点和有益效果：

41、(1)本技术对现有srgan网络结构进行改进，在生成网络的残差网络中引入全局注意力模块和通道自注意力模块，用来构建特征通道间的关联性，且增大有用特征，对含高频信息的通道赋予更大权重，可充分提取图像边缘信息，使重建后图像边缘效果更佳。

42、(2)本技术改进后的srgan网络，其结构简单且训练过程更为稳定。