面向海上船舶图像的多尺度超分辨率重建方法、终端设备

本发明涉及图像重建技术，特别是一种面向海上船舶图像的多尺度超分辨率重建方法、终端设备。

背景技术：

1、图像超分辨率是图像处理和计算机视觉中的一项基本任务，其目的是将观测到的低分辨率图像重建为高分辨率图像。作为一个病态问题，现实中的高分辨率图像往往存在多种不同的退化状态。图像超分辨率任务的难点在于从一个一对多的映射关系中恢复图像的纹理、轮廓等细节特征。目前现存的图像超分辨率方法根据实现方法可分为传统的超分辨率重建和基于深度学习的超分辨率重建两类。传统的图像超分辨率重建方法如双三次插值法能生成比基础算法更平滑的像素边缘，但这种方法过于简化图像超分辨率问题，通常导致纹理过于平滑。基于学习的传统超分辨率方法需要预先建模，复用性差且实现复杂，难以满足现实中的实时处理船舶图像的要求。此外，典型的基于重建的传统超分辨率方法包括凸集投影法、贝叶斯分析方法和最大后验概率方法等。与插值方法相比，这类方法通过引入一些图像的先验假设，能够缓解插值法中的模糊效果。然而，这类方法受先验知识的限制，在面向船舶图像超分辨率的现实应用中，当提供的先验信息不足或缺失时，图像重建质量将大幅下降。基于以上事实，图像处理应用领域迫切需要通过新算法实现图像高分辨率化。

2、近年来，随着人工智能技术的快速发展，深度学习在计算机视觉领域取得了巨大的成功。得益于深度卷积神经网络强大的表征提取和模型拟合能力，基于深度学习的超分辨率方法取得了显著的进步，已经在性能上大幅超过了传统方法。基于深度学习的超分辨率方法通过学习低分辨率图像到相应高分辨率图像之间的映射来完成模型的构建。现有的基于深度学习的图像超分辨率方法通常使用已知的双二次插值来生成低分辨率图像用于深度超分辨率模型的训练。然而，在实时船舶图像处理问题中，实现图像的放缩、旋转和空间变换等操作受到非常多干扰因素的影响。输入的低分辨率图像到高分辨率的映射关系往往不服从理想的退化假设。在真实的船舶图像应用场景中，用户难以得到低分辨率图像的退化方式或对退化图像的精准估计。当预定义的模糊内核与真实的模糊内核不同时，基于学习的方法会出现严重的性能下降问题。这种内核不匹配的现象将导致输出的超分辨率图像出现不希望的伪影。具体来说，如果输入核比真实核更平滑，那么输出图像将是模糊的。相反，如果输入内核比正确的内核更清晰，那么结果将会过度变形，并产生明显的振铃效应。一些方法尝试使用大范围的退化图像训练超分辨率模型以增强其泛化能力，当退化空间加深时，图像之间的不变性质变得难以捕获，模型会出现不可避免的估计失真问题。一方面，不同退化条件下生成的低分辨率船舶图像包含不同的退化表征。当未完全对齐或错误标记的退化图像被输入估计器时，网络产生的有偏估计，导致结果中严重的伪影。另一方面，不同退化的低分辨率船舶图像可能产生相同表征的退化图像，图像退化程度很难使用线性参数进行控制。因此，大多数的低分辨率图像集中在一定的退化水平，特别是严重的退化，从而导致模型崩溃，只能在特定的场景下产生令人满意的超分辨率结果。

3、现有方法需要成对的且带有退化特征标签的数据，收集这样的图像数据费时费力，且不能很好的覆盖真实世界的情况。当预定义的模糊内核与真实的内核标签不同时，这种内核不匹配的现象将导致输出的超分辨率图像出现不希望的伪影。现有的方法通常在理想情况或特殊假定退化下训练超分辨率模型，当使用大范围的退化图像训练超分辨率模型以增强其泛化能力时，数据集很可能出现长尾分布问题，影响图像超分辨率的效果。现有的方法往往为通用的图像超分辨率任务而设计，当面对海上船舶图像的复杂成像环境，未完全对齐或错误标记的退化图像被输入时，模型不能精准的恢复图像的纹理、轮廓等信息。

4、cn114626989a提供了一种基于域对抗转换的盲图像超分辨方法及系统，其采用已知的下采样方法生成低分辨率图像（如双二次下采样、双线性下采样）或者在盲背景下使用简单的退化模型。然而真实世界的应用往往不服从预先的假设，这将导致这些方法对退化图像的产生失真的表征估计，从而影响最终的超分辨率效果。该方法忽略了超分辨率问题的病态性，高分辨率图像往往存在多个不同的低分辨率退化图像，且退化程度表现出长尾分布问题，这使得训练域分布与测试域分布出现不匹配，从而导致超分辨率模型仅在部分场景下表现较好，无法应对真实应用场景中较为广泛的退化范围。盲图像超分辨方法需要带有退化图像标签信息的监督，但真实应用场景下这种标签信息是缺失的。

技术实现思路

1、本发明所要解决的技术问题是，针对现有技术不足，提供一种面向海上船舶图像的多尺度超分辨率重建方法、终端设备，在现实复杂场景中获得更为精准的退化表征估计，并改善退化图像的长尾分布问题，解决现有超分辨率方法仅在特定场景下表现良好的问题。

2、为解决上述技术问题，本发明所采用的技术方案是：一种面向海上船舶图像的多尺度超分辨率重建方法，包括以下步骤：

3、s1、获取高分辨率海上船舶图像，利用所述高分辨率海上船舶图像合成低分辨率图像；使用低分辨率图像训练退化表征估计网络，获取所述低分辨率图像的退化表征向量；

4、s2、将所述低分辨率图像和所述退化表征向量作为重建模型的输入，训练所述重建模型，得到多尺度超分辨率重建模型；

5、其中，所述重建模型包括浅层特征提取模块和多个级联的退化表征融合组，所述浅层特征提取模块和最后一个退化表征融合组的输出拼接后，输入一上采样层；

6、所述退化表征融合组包括依次连接的退化表征融合卷积模块、多个级联的基本块；所述退化表征融合卷积模块包括多个退化单元，所述退化单元包括drf卷积层，所述drf卷积层包括卷积模块、全连接模块和第一卷积层，所述卷积模块和所述全连接模块的输入均为所述退化表征向量，所述第一卷积层的输入为所述低分辨率图像，所述第一卷积层接第一重塑层，所述第一重塑层的输出和所述全连接模块的输出进行卷积操作后，作为第一激活层的输入，所述第一激活层接第二重塑层，所述第二重塑层接第二卷积层；所述卷积模块的输出与第一卷积层的输出进行卷积操作后，再与第二卷积层的输出进行拼接，拼接后的结果作为第二激活层的输入，所述第二激活层接下一退化单元的drf卷积层，该drf卷积层依次接第三激活层、第三卷积层和第五激活层；第五激活层的输出与退化表征向量拼接后，作为下一退化表征融合模块的输入。

7、本发明可以在现实复杂场景中获得更为精准的退化表征估计，并改善退化图像的长尾分布问题，解决现有超分辨率方法在非特定场景下性能较差的问题，可以应对海上船舶图像超分辨率应用的多样复杂场景。

8、步骤s1中，低分辨率图像的表达式为：；其中，表示滤波，表示卷积操作，表示具有尺度因子的下采样操作，表示可调节的噪声程度，jpeg表示图像压缩，表示jpeg的压缩程度，是高分辨率海上船舶图像。

9、本发明使用了一个更复杂的退化模型，它可以生成更广泛的退化图像，提高模型的泛化能力。

10、步骤s1中，获取退化表征向量的具体实现过程包括：

11、对齐所述高分辨率海上船舶图像，利用对齐后的图像块获得正样本对，对所述正样本对重采样，获得退化图像块；所述退化图像块的表达式为：；其中，为退化图像块，是基于参数权重重采样后的退化模型，是高分辨率海上图像，表示对进行随即裁剪获得成对图像块；

12、将所述退化图像块作为退化表征估计网络的输入，得到退化表征估计向量：；表示对齐的退化图像块，为编码器的输出。

13、本发明使用标准差约束正样本定义，使得对齐的图像块输入退化表征编码器，可以得到更好的估计结果。本发明使用对比学习用于退化表征编码器的训练，它不需要图像的退化标签，这在真实世界中也是无法获取的。这使得对真实世界的低分辨率船舶图像的训练变得可行。此外，本发明可以在现实复杂场景中获得更为精准的退化表征估计，并改善退化图像的长尾分布问题。

14、步骤s1中，所述退化表征估计网络包括依次连接的编码器、串联的两个全连接层；所述编码器的输入为退化图像块。

15、所述退化表征估计网络的损失函数表示为：；其中，表示退化图像块的批量大小，表示负样本，是动量编码器中的负样本个数，是超参数。

16、最后一个退化表征融合组通过一输出卷积层接所述上采样层。以便于后期的残差特征融合与重建。

17、本发明中，所述基本块包括残差块、残差稠密块、多尺度残差块、残差通道注意力块、密集投影单元、残差transformer块中的一个或多个。

18、本发明中，所述卷积模块包括两个串联的卷积层；所述全连接模块包括两个串联的全连接层。

19、本发明的方法还包括：

20、s3、获取海上船舰图像，将所述海上船舰图像输入训练后的退化表征网络，得到退化表征向量，将所述退化表征向量和所述海上船舰图像的低分辨率图像输入多尺度超分辨率重建模型，得到重建图像。

21、作为一个发明构思，本发明还提供了一种终端设备，包括存储器、处理器及存储在存储器上的计算机程序；所述处理器执行所述计算机程序，以实现上述方法的步骤。

22、与现有技术相比，本发明所具有的有益效果为：本发明可以在现实复杂场景中获得更为精准的退化表征估计，并改善退化图像的长尾分布问题，解决现有超分辨率方法仅在特定场景下表现良好的问题，且模型支持和多个尺度的超分辨率重建，以应对海上船舶图像超分辨率应用的多样复杂场景。