用于构建模块及图像重建的方法、系统、设备、介质、产品与流程

本申请涉及图像处理，尤其涉及一种用于构建模块及图像重建的方法、系统、设备、介质、产品。

背景技术：

1、图像超分辨率重建是一种图像处理技术，用于从低分辨率图像中恢复出高分辨率图像，以提高图像的细节和清晰度，改善图像质量。其广泛应用与医学治疗、视频监控、遥感卫星成像等领域。因为成像设备在获取图像过程中会受到系统噪声、成像环境等影响，导致采集到的图像分辨率较低。因此，需要对采集到的图像进行超分辨率重建。

2、现有的图像超分辨率重建方法可分为插值法、基于重构的方法和基于学习的方法3类。插值法根据图像先验信息和统计模型进行差值计算；基于重构的方法从同一场景下的多帧低分辨率图像中提取高频信息，融合生成高分辨率图像；基于学习的方法通过低分辨率图像以及高分辨率图像样本库训练获得低分辨率图像块与高分辨率图像块的映射关系，预测输入低分辨率图像的高分辨率重建结果。

3、在现有的图像超分辨率重建方法中，特征提取是一个关键步骤，其直接影响重建图片的质量和效果。现有的特征提取模型主要依赖于局部卷积操作来提取图像特征，这种方法在捕捉局部特征方面效果显著，但在捕捉全局特征和长距离依赖关系方面存在不足。这可能导致重建图像在全局一致性和细节保留方面表现不佳。

技术实现思路

1、本申请实施例提供用于构建模块及图像重建的方法、系统、设备、介质、产品，用以达到提升特征提取的全局性的效果。

2、第一方面，本申请实施例提供一种用于构建深层特征提取模块的方法，包括：

3、获取多个样本图像；

4、利用各所述样本图像对预设的多个初始图像处理模型进行训练，获得多个目标图像处理模型，各所述初始图像处理模型分别包括多个尺寸不同且并行的卷积核；

5、对各所述目标图像处理模型分别进行重参数化操作，获得多个通用大卷积核模块；

6、基于各所述通用大卷积核模块、canny算子构建深层特征提取模块。

7、在一种可能的实施方式中，基于各所述通用大卷积核模块、canny算子构建深层特征提取模块，包括：

8、将各所述通用大卷积核模块分别与所述canny算子结合，获得多个第一通用大卷积核；

9、分别将第一预设数量的第一通用大卷积核进行级联，并将窗口注意力机制设置在级联的第一通用大卷积核中，获得多个第二通用大卷积核；

10、根据各所述第二通用大卷积核和第三预设数量的小卷积核构建深层特征提取模块。

11、在一种可能的实施方式中，根据各所述第二通用大卷积核和第三预设数量的小卷积核构建深层特征提取模块，包括：

12、分别将各所述第二通用大卷积核与各所述小卷积核进行残差连接，获得多个残差通用大卷积核；

13、将所述多个残差通用大卷积核以及一个小卷积核进行级联，获得深层特征提取模块。

14、在一种可能的实施方式中，所述将窗口注意力机制设置在级联的第一通用大卷积核中，包括：

15、在所述级联的每个第一通用大卷积核中，每间隔设定数量的第一通用大卷积核，设置一个窗口注意力机制。

16、第二方面，本申请实施例提供一种用于图像重建的方法，包括：

17、获取待重建图像；

18、将所述待重建图像输入预设的浅层特征提取模块，获得所述待重建图像的浅层特征，所述浅层特征提取模块包括一个卷积层；

19、将所述待重建图像输入深层特征提取模块，获得所述待重建图像的深层特征；所述深层特征提取模块是根据上述的用于构建深层特征提取模块的方法构建获得的；

20、根据所述浅层特征和所述深层特征进行图像重建。

21、在一种可能的实施方式中，根据所述浅层特征和所述深层特征进行图像重建，包括：

22、对所述浅层特征和所述深层特征进行特征融合，获得全局特征；

23、对所述全局特征进行上采样操作，获得高维特征量；

24、对所述高维特征量进行特征重构，获得超分辨率图像。

25、第三方面，本申请实施例提供一种图像重建系统，包括：

26、图像采集模块，用于获取待重建图像；

27、浅层特征提取模块，包括一个卷积层，所述浅层特征提取模块用于提取待重建图像的浅层特征；

28、深层特征提取模块，用于提取所述待重建图像的深层特征；

29、图像重建模块，用于根据所述浅层特征和所述深层特征进行图像重建；

30、其中，所述深层特征提取模块是基于上述的用于构建深层特征提取模块的方法构建获得的。

31、在一种可能的实施方式中，所述图像重建模块，包括：

32、特征融合单元，用于对所述浅层特征和所述深层特征进行特征融合，获得全局特征；

33、上采样单元，用于对所述全局特征进行上采样操作，获得高维特征量；

34、亚像素卷积层，用于对所述高维特征量进行特征重构，获得超分辨率图像。

35、第四方面，本申请实施例提供一种电子设备，包括：存储器，处理器；

36、所述存储器存储计算机执行指令；

37、所述处理器执行所述存储器存储的计算机执行指令，使得所述处理器执行如上第一方面和/或第二方面的方法。

38、第五方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如上第一方面和/或第二方面的方法。

39、第六方面，本申请实施例提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如上第一方面和/或第二方面的方法。

40、本申请实施例提供的用于构建模块及图像重建的方法、系统、设备、介质、产品，通过将canny算子与通用大卷积核模块结合，构建深层特征提取模块，由于卷积核的尺寸大小决定了其能够覆盖输入图像的多少局部区域，而通用大卷积核模块与多个尺寸不同且并行的卷积核等效，因此，每个通用大卷积核模块，都能够同时捕捉输入图像的细节特征和全局特征。另外，由于canny算子能够检测到高频的纹理信息，使输入图像的边缘结构信息更加清晰，因此，将canny算子与多个通用大卷积核模块进行结合，使得通用大卷积核模块可以更加稳定的捕捉到输入图像中的结构信息，提升特征提取的全局性。

技术特征：

1.一种用于构建深层特征提取模块的方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，基于各所述通用大卷积核模块、canny算子构建深层特征提取模块，包括：

3.根据权利要求2所述的方法，其特征在于，根据各所述第二通用大卷积核和第三预设数量的小卷积核构建深层特征提取模块，包括：

4.根据权利要求2所述的方法，其特征在于，所述将窗口注意力机制设置在级联的第一通用大卷积核中，包括：

5.一种用于图像重建的方法，其特征在于，包括：

6.根据权利要求5所述的方法，其特征在于，根据所述浅层特征和所述深层特征进行图像重建，包括：

7.一种图像重建系统，其特征在于，包括：

8.根据权利要求7所述的图像重建系统，其特征在于，所述图像重建模块，包括：

9.一种电子设备，其特征在于，包括：存储器，处理器；

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1-6任一项所述的方法。

11.一种计算机程序产品，其特征在于，包括计算机程序，该计算机程序被处理器执行时实现权利要求1-6任一项所述的方法。

技术总结本申请实施例提供一种用于构建模块及图像重建的方法、系统、设备、介质、产品。该方法包括：获取多个样本图像；利用各所述样本图像对预设的多个初始图像处理模型进行训练，获得多个目标图像处理模型，各所述初始图像处理模型分别包括多个尺寸不同且并行的卷积核；对各所述目标图像处理模型分别进行重参数化操作，获得多个通用大卷积核模块；基于各所述通用大卷积核模块、Canny算子构建深层特征提取模块。该方法用以达到提升特征提取的全局性的效果。技术研发人员：马志骋,刘兆祥,王恺,廉士国受保护的技术使用者：中国联合网络通信集团有限公司技术研发日：技术公布日：2024/11/4