一种集成多源图像融合的方法及装置

本发明涉及图像处理，具体涉及一种集成多源图像融合的方法及装置。

背景技术：

1、目前，除mff_net、mff_ssim和mfif_gan等算法外，很多算法都没有考虑散焦效应（defocus spread effect，dse）。从本质上讲，dse是指未聚焦的前景物体倾向于扩大，从而导致fdb曲线不清晰的现象。特别是，当前景清晰时，模糊的背景物体不会对清晰的前景区域产生影响，从而导致清晰的fdb。另一方面，当前景失焦时，模糊的前景会渗入背景。因此，fdb并不是一条清晰的线，模糊的前景物体可能会超出边界本身。因此，dse对mfif任务提出了两个挑战。首先，在fdb附近总有一个不清晰的区域，不管它是来自聚焦的前景图像还是背景图像。其次，未聚焦和扩大的物体会混淆焦点检测，导致融合输出中出现伪影或失真。

2、综上可见，亟需提供一种能够解决dse问题的多源图像融合方法，从而减轻不同程度的dse对多源图像融合方法的影响。

技术实现思路

1、基于此，本发明提出一种集成多源图像融合的方法及装置，以解决现有技术存在的技术缺陷。

2、第一方面，本发明提供了一种集成多源图像融合的方法，所述方法包括：

3、获取训练多聚焦图像集，所述训练多聚焦图像集包括两张源图像，分别为前景聚焦的源图像a和后景聚焦的源图像b；

4、基于所述训练多聚焦图像集对网络进行训练，得到集成多源图像融合模型；

5、将实际多聚焦图像集输入至所述集成多源图像融合模型中生成融合图像；

6、其中，所述基于所述训练多聚焦图像集对网络进行训练，得到集成多源图像融合模型，具体为：

7、步骤s211，将所述源图像a和源图像b分别输入至特征提取模块进行特征提取，得到提取特征a和提取特征b；

8、步骤s212，所述提取特征a和提取特征b经过1×1卷积合并得到合并特征图；

9、步骤s213，所述合并特征图经sigmoid投影处理，得到过程初始决策图；

10、步骤s214，计算所述过程初始决策图与基准真实值之间的l1 loss损失值，若l1 loss损失值满足要求，则所述过程初始决策图即为初始决策图；若l1 loss损失值不满足要求，则重复步骤s211-s213，直至l1 loss损失值满足要求，此时的过程初始决策图即为初始决策图；

11、步骤s215，利用高斯滤波器对所述初始决策图进行处理后，对所述初始决策图进行阈值处理，得到两个厚度不同的边界图；

12、步骤s216，利用引导滤波器对两个厚度不同的边界图中具有平滑边界区域的边界图的边界进行平滑处理，得到平滑边界图；

13、步骤s217，所述平滑边界图与所述初始决策图相结合得到最终决策图；

14、步骤s218，将所述最终决策图与所述源图像a和源图像b进行点乘和加权求和运算，得到融合图像；

15、步骤s219，分别计算所述融合图像与源图像a和源图像b的l2 loss损失值，若l2 loss损失值满足要求，则此时的网络即为集成多源图像融合模型；若l2 loss损失值不满足要求，则重复步骤s211-s218，直至l2 loss损失值满足要求，此时的网络即为集成多源图像融合模型。

16、在一种可能的实现方式中，所述特征提取模块为两个具有相同结构和权重的双通道连体结构，所述特征提取模块的每一个通道包括下采样模组、vit模组、上采样模组和跳层连接；

17、所述下采样模组包括依次连接的第一下采样resnest卷积块、第二下采样resnest卷积块、第三下采样resnest卷积块和十二个transformer层；

18、所述vit模组包括依次连接的补丁嵌入模块、 n个vit层和1个1×1卷积；

19、所述上采样模组包括依次连接的第一上采样resnest卷积块、第二上采样resnest卷积块、第三上采样resnest卷积块和第四上采样resnest卷积块。

20、在一种可能的实现方式中，每一所述下采样resnest卷积块包括并行设置的k个特征图组，k个所述特征图组的输出特征连接起来，采用1×1卷积恢复原始特征图大小，再以残差方式将整个下采样resnest卷积块连接起来；

21、每个所述特征图组包括r个分割卷积路径和一个分割注意力机制，r个所述分割卷积路径并行设置，且r个所述分割卷积路径的输出特征均输入至分割注意力机制；

22、所述分割卷积路径由依次连接的1×1卷积层和3×3卷积层组成。

23、在一种可能的实现方式中，每一所述vit层由 h个多头自注意和多层感知器模块组成，第 h个多头自注意和多层感知器模块的输出特征为：

24、，

25、，

26、其中，为第 h-1个多头自注意和多层感知器模块的输出特征， ln为层归一化算子， msa为多头自注意， mlp为多层感知器，为中间变量。

27、在一种可能的实现方式中，所述步骤s211具体为：

28、将所述源图像a和源图像b分别输入至第一下采样resnest卷积块进行下采样，得到第一深层局部特征a和第一深层局部特征b；

29、将所述第一深层局部特征a和第一深层局部特征b分别输入至第二下采样resnest卷积块进行下采样，得到第二深层局部特征a和第二深层局部特征b；

30、将所述第二深层局部特征a和第二深层局部特征b分别输入至第三下采样resnest卷积块进行下采样，得到第三深层局部特征a和第三深层局部特征b；

31、将所述第三深层局部特征a和第三深层局部特征b分别输入至十二个transformer层进行下采样，得到第四深层局部特征a和第四深层局部特征b；

32、将所述第四深层局部特征a和第四深层局部特征b分别输入至vit模组进行全局特征提取，得到全局特征a和全局特征b；

33、将所述全局特征a和全局特征b分别输入至第一上采样resnest卷积块进行上采样，得到第一上采样特征a和第一上采样特征b；

34、将所述第一上采样特征a和第一上采样特征b分别与第三深层局部特征a和第三深层局部特征b进行融合，将融合后的特征分别输入至第二上采样resnest卷积块，得到第二上采样特征a和第二上采样特征b；

35、将所述第二上采样特征a和第二上采样特征b分别与第二深层局部特征a和第二深层局部特征b进行融合，将融合后的特征分别输入至第三上采样resnest卷积块，得到第三上采样特征a和第三上采样特征b；

36、将所述第三上采样特征a和第三上采样特征b分别与第一深层局部特征a和第一深层局部特征b进行融合，将融合后的特征分别输入至第四上采样resnest卷积块，分别得到提取特征a和提取特征b。

37、第二方面，本发明提供了一种集成多源图像融合的装置，所述装置包括：

38、图像获取模块，用于获取训练多聚焦图像集，所述训练多聚焦图像集包括前景聚焦的源图像a和后景聚焦的源图像b；

39、模型训练模块，用于基于所述训练多聚焦图像集对网络进行训练，得到集成多源图像融合模型；

40、融合图像生成模块，用于将实际多聚焦图像集输入至所述集成多源图像融合模型中生成融合图像；

41、其中，所述模型训练模块包括：

42、特征提取模块，用于对所述源图像a和源图像b进行特征提取，得到提取特征a和提取特征b；

43、特征合并模块，用于将所述提取特征a和提取特征b合并得到合并特征图；

44、初始决策图获取模块，用于将所述合并特征图进行sigmoid投影处理，得到过程初始决策图；

45、第一误差计算模块，用于计算所述过程初始决策图与基准真实值之间的l1 loss损失值，基于l1 loss损失值对网络进行重复训练，不断优化网络参数，直至得到合格的初始决策图；

46、边界图获取模块，用于利用高斯滤波器对所述初始决策图进行处理后，对所述初始决策图进行阈值处理，得到两个厚度不同的边界图；

47、平滑边界图获取模块，用于利用引导滤波器对两个厚度不同的边界图中具有平滑边界区域的边界图的边界进行平滑处理，得到平滑边界图；

48、最终决策图获取模块，用于将所述平滑边界图与所述初始决策图相结合得到最终决策图；

49、融合图像获取模块，用于将所述最终决策图与所述源图像a和源图像b进行点乘和加权求和运算，得到融合图像；

50、第二误差计算模块，用于分别计算所述融合图像与源图像a和源图像b的l2 loss损失值，基于l2 loss损失值对网络进行重复训练，不断优化网络参数，直至得到集成多源图像融合模型。

51、通常情况下，多聚焦图像融合可视为一个二元分类问题，图像分割中应用的u型网络引入多聚焦图像分类问题中，考虑到u型网络在分类过程中可能会遇到边界模糊或分类错误，而池化操作可能会导致分辨率降低和信息丢失。因此采用，resnest的特征图关注和多路径表示可以有效弥补u型网络的不足。值得注意的是，虽然基于cnn的网络能有效地从特征图中提取局部信息，但却忽略了特征图中存在的全局信息。相比之下，transformer注意力机制在提取全局特征方面表现出显著优势，与cnn形成互补。基于这些观察结果，本发明提出了一种集成多源图像融合的方法及装置。相对于现有技术，本技术实现了以下技术效果：

52、（1）本发明通过用resnest代替u型网络的传统卷积块，所提出的网络可以提取并保留源图像中的深层局部特征信息，同时提高分类性能。

53、（2）本发明通过在特征提取模型的下采样过程和上采样过程之间引入了vit模块，以从下采样输出特征图中提取全局特征，并将其输入上采样分支。

54、（3）为了减轻不同程度的dse，本发明针对轻度dse，采用略微放大前景的方法来解决dse问题。对于严重的dse，提出一种新的解决方案，通过应用锐化来增强图像中的fdb，从而显著改善严重的dse。