一种适用于多模态图像融合的协同融合配准的方法

本发明涉及图像融合配准方法，更具体一点说，涉及一种适用于多模态图像融合的协同融合配准的方法，属于光学成像。

背景技术：

1、图像配准是将从不同视角、不同时间或不同传感器获得的同一场景的两个或多个图像对齐的过程。而多模态图像配准因不同模态导致的外观高度复杂性，大大提高了配准的难度，这些大多出现在多传感器和医学图像分析中。

2、现有的传统图像配准方法大多针对图像之间特征匹配的方式而展开。基于特征匹配的方法通常包括三个步骤：特征提取和描述、特征匹配、翻译模型参数估计。尺度不变特征变换作为局部特征描述的优秀算法，其提取的特征不随旋转、尺度、光照变化而变化，但鉴于多模态图像之间存在着严重的非线性强度差异，使用上述方法进行图像配准可能会导致更多的假特征点，从而增加误匹配率。

3、近些年来，图像融合收到越来越多的关注，其方法包括传统的融合方法和基于深度学习的方法。传统的融合方法通过在不同的特征域测量图像的活动水平以获得源图像的分解特征系数，之后对这些特征系数执行特定的融合规则以生成融合图像，即特征提取与融合。主要包括以下几种：基于多尺度变换的方法、基于子空间的方法、基于多尺度变换的方法、基于子空间的方法、基于稀疏表示及低秩表示的方法、基于显著性表示的方法和其他方法。但是面对复杂的变换或表示时，传统方法无法实现图像的实时融合。

4、随着深度学习在计算机视觉任务的进展，大量基于学习的方法被提出以弥补传统方法的不足。现有的基于深度学习的方法根据网络的架构大致可以分为两组：基于卷积神经网络(cnn)的方法和基于生成对抗网络(gan)的方法。基于cnn的端到端图像融合框架是一种避免手动设计融合规则弊端的技术路线。并依靠设计的网络结构和损失函数隐形地实现特征提取、特征融合和图像重建，这些步骤都是建立在源图像已配准的基础上，而在面对存在视场差的图像时，融合结果中将出现肉眼可见的伪影，使融合图像的视觉质量急剧下降，并影响后续任务的展开。因此，有必要设计一种能够处理非配准图像和实时生成融合图像的融合框架是必然的趋势。

技术实现思路

1、为了解决上述现有技术问题，本发明提供具有能够在对多模态图像进行图像融合时有效的消除由视场差而导致的巨大伪影，提高融合图像的质量等技术特点的一种适用于多模态图像融合的协同融合配准的方法。

2、为了实现上述目的，本发明是通过以下技术方案实现的：

3、一种适用于多模态图像融合的协同融合配准的方法，该方法包括如下步骤：

4、1)先用红外照相机拍摄多组同一场景但存在视差的红外和可见光图像，并形成一个数据集；

5、2)将拍摄完毕的图像送入配准网络中，依据偏移量进行图像配准；

6、3)将配准完毕的图像形成配对的图像对，送入图像融合网络中以获得高质量的融合图像。

7、优选的，配准网络的输入是以组为单位；每一组中是配对但存在视差的红外和可见光图像，以其中一张图像作为参考，并由配准网络输出对齐图像形成一组配对且无视差的红外和可见光图像。

8、优选的，配准网络的结构包括特征金字塔网络、光流估计网络和多尺度渐进序列特征提取模块。

9、优选的，配准网络中依据偏移量进行图像配准具体为：

10、1)将存在视差的图像对输入配准网络，先通过特征提取层进行下采样，生成三组不同分辨率的特征图；

11、2)进一步提高配准网络的性能且在深层特征中强化小目标的特征：以第一组特征图为基准，将第一组和第二组以及第二组和第三组的特征图依次输入至多尺度渐进序列特征模块之中，以这三组特征图为对比基准在所述多尺度渐进序列特征模块加入一组中等尺度大小的特征图以使各层特征的融合过渡的更为平滑；

12、3)将加入的特征图与输入的各特征图分别进行堆叠，进行浅层与深层特征融合，经过卷积、激活函数和平均池化的操作后将每一组特征图转化为输出一组信息丰富的特征图；

13、4)经上述处理除第三组特征未发生改变外，第一、第二组的特征图均得到处理，再将第二组、第三组的特征图输入至光流估计网络以进行第三组的特征图处理，光流估计网络根据两组的特征图来估计偏移程度，并采用空间变换的操作将扭曲的特征得到初步的校准，重复上述操作，采取由粗到细的配准策略，最终得到对齐的图像对，以实现对不同尺度的特征的配准。

14、优选的，图像融合网络包括特征提取层、多模态混合感知模块和图像重构层，特征提取层由卷积和激活函数组成，通过特征提取层实现多层特征提取。

15、优选的，特征提取层中，在对第二层、第三层和第四层特征提取层的输出后均嵌入多模态混合感知融合模块，通过自适应的整合各阶段中红外与可见光图像特征的互补信息；

16、再通过逐像素相加法将特征图与互补信息特征图的输出进行相加，以确保在不丢失信息的前提下进一步集成深层特征和细节特征；所有卷积层和激活函数组成了图像重构器，通过在特征图上的采用，实现将特征逐渐复原至融合图像。

17、优选的，在训练融合网络的过程中，一部分的融合损失通过梯度回传的方式来指导配准网络的训练，从而间接的提高融合图像的质量。

18、优选的，特征提取时采用渐进式的策略以实现提取特征能够进一步缩小了模态差异。

19、有益效果：具有在实现在对多模态图像进行图像融合时，能够有效的消除由视场差而导致的巨大伪影，提高融合图像的质量等技术特点；能够降低多模态图像之间巨大差异性所带来的配准难度；提高了图像配准的精度，为后续获得图像融合等高级视觉任务的优秀性能打下了基础，市场前景广阔。

技术特征：

1.一种适用于多模态图像融合的协同融合配准的方法，其特征在于该方法包括如下步骤：

2.根据权利要求1所述的一种适用于多模态图像融合的协同融合配准的方法，其特征在于：配准网络的输入是以组为单位；每一组中是配对但存在视差的红外和可见光图像，以其中一张图像作为参考，并由配准网络输出对齐图像形成一组配对且无视差的红外和可见光图像。

3.根据权利要求1或2所述的一种适用于多模态图像融合的协同融合配准的方法，其特征在于：配准网络的结构包括特征金字塔网络、光流估计网络和多尺度渐进序列特征提取模块。

4.根据权利要求3所述的一种适用于多模态图像融合的协同融合配准的方法，其特征在于：配准网络中依据偏移量进行图像配准具体为：

5.根据权利要求1或4所述的一种适用于多模态图像融合的协同融合配准的方法，其特征在于：图像融合网络包括特征提取层、多模态混合感知模块和图像重构层，特征提取层由卷积和激活函数组成，通过特征提取层实现多层特征提取。

6.根据权利要求5所述的一种适用于多模态图像融合的协同融合配准的方法，其特征在于：特征提取层中，在对第二层、第三层和第四层特征提取层的输出后均嵌入多模态混合感知融合模块，通过自适应的整合各阶段中红外与可见光图像特征的互补信息；

7.根据权利要求6所述的一种适用于多模态图像融合的协同融合配准的方法，其特征在于：在训练融合网络的过程中，一部分的融合损失通过梯度回传的方式来指导配准网络的训练，从而间接的提高融合图像的质量。

8.根据权利要求6所述的一种适用于多模态图像融合的协同融合配准的方法，其特征在于：特征提取时采用渐进式的策略以实现提取特征能够进一步缩小了模态差异。

技术总结本发明公开的是一种适用于多模态图像融合的协同融合配准的方法，该方法包括：先用红外照相机拍摄多组同一场景但存在视差的红外和可见光图像，并形成一个数据集，将拍摄完毕的图像送入配准网络中，依据偏移量进行图像配准，将配准完毕的图像形成配对的图像对，送入图像融合网络中以获得高质量的融合图像，本发明具有在实现在对多模态图像进行图像融合时，能够有效的消除由视场差而导致的巨大伪影，提高融合图像的质量等技术特点；能够降低多模态图像之间巨大差异性所带来的配准难度；提高了图像配准的精度，为后续获得图像融合等高级视觉任务的优秀性能打下了基础，市场前景广阔。技术研发人员：杨旭,邢浩杰,张涵翠,吴龙,徐璐受保护的技术使用者：浙江理工大学技术研发日：技术公布日：2024/9/2