一种基于深度学习的多模态图像配准方法与流程

1.本发明涉及一种图像配准方法，具体涉及一种基于深度学习的多模态图像配准方法。


背景技术：

2.不同成像模式的照相机是在普通航空照相机的基础上发展而来的。不同成像模式的拍摄是指在可见光的基础上向红外光和紫外光等多个方向扩展，并通过各种滤光片或分光器与多种感光胶片的组合，使其同时分别接收同一目标在不同窄光谱带上所辐射或反射的信息，即可得到目标的几张不同光谱带的照片。不同成像模式的成像技术结合了空间成像系统和光谱探测系统等功能,可以同时从光谱维和空间维等不同维度获取被测目标的信息,因此近年来在信息获取与处理领域备受重视。
3.当我们用具有不同成像模式的相机来拍摄同一目标时，我们通常将携带着不同波段光信息的一组多模态图像进行融合，将所有的光信息结合在一起，这不仅仅是二维空间信息，同时也把光谱的辐射信息等信息也包含在内，从而在较宽的谱段范围内成像，从而对目标有一个更全面的认识和理解。但由于不同成像模式的镜头在拍摄配准主体时存在一定的夹角，导致在进行图像融合时图像无法对齐，融合结果较差，于是我们采用了图像配准的技术。
4.图像配准是将在同一场景由不同传感器、不同角度、不同时间获取的两张图像进行对齐的过程。传统图像配准方法主要分为基于特征的图像配准方法和基于灰度的图像配准方法。上述的两种图像配准算法通常不同的途径来计算最优变换，并配合相似性度量标准来寻找全局最优解以完成图像配准。
5.然而在面对复杂的多模态图像时，由于不同成像模式所拍摄的照片灰度值有较大的差异，在不同波段的光所拍摄的图像不仅会凸显了不同物体，比如一些与目标毫不相关的背景物体，而且即使对同一目标来说在多模态图像中灰度值也会相差甚远，导致现有的基于灰度的图像配准算法由于多模态图像中有多余的背景灰度值信息，导致在计算图像灰度值信息时加入了与配准主体无关的背景灰度值信息，无法正确计算两张图像之间的相似度并通过优化算法计算出最优变换t从而导致无法完成使两张图像进行对齐，最终无法使图像配准的结果达到预期要求。


技术实现要素：

6.本发明的目的在于克服现有技术的不足，提供一种基于深度学习的多模态图像配准方法，所述图像配准方法可以实现对复杂的多模态图像进行配准，具有高精度、实时性的特点。
7.本发明解决上述技术问题的技术方案是：
8.一种基于深度学习的多模态图像配准方法，包括以下步骤：
9.(s1)、使用不同成像模式的相机对配准主体进行拍摄，并将拍摄到的一组不同模
态的图像放入图像集a中；
10.(s2)、将图像集a作为net神经网络的输入，得到进行语义分割后的图像集b；
11.(s3)、将图像集b中的每张图像与图像集a中对应的图像逐像素点相乘，得到配准图像集c；
12.(s4)、在图像集c中选择一张图像作为固定图像，将其余图像作为形变图像，使用基于灰度的图像配准算法分别通过合适的优化算法计算出每张浮动图像与固定图像对齐的最佳变换t；
13.(s5)、将各自分别得到的最佳变换t应用到图像集a中的图像得到配准后的图像。
14.优选的，在步骤(s2)中，net神经网络的构建包括以下步骤：
15.(s2-1)、使用不同成像模式的相机对配准主体拍摄不同模态的n张照片，放入图像集input中；
16.(s2-2)、对图像集input中的图像做手动语义分割，分割结果为生成一张分辨率与待分割的图片一致的模板图片，模板图片中与待分割图片的目标对应位置的像素值为1，模板图片中与待分割图片的背景对应位置的像素值为0，放入图像集label中；
17.(s2-3)、构建一个用于语义分割的端对端的神经网络，初始化神经网络的权重和偏置参数，将分割前的图像集input作为输入，将分割后的图像集作为标签，计算神经网络的输出与标签之间的损失函数值，并将损失函数值的梯度做反向传播以更新网络模型的参数，直至损失函数值小于预先设定好的数值，则停止更新网络模型参数，得到一个训练完成的神经网络net；
18.优选的，在步骤(s2-1)中，不同成像模式的相机与配准主体之间的连线所构成的夹角小于或等于15度。
19.优选的，在步骤(s2-1)中，不同成像模式的相机采集的图像数量n为6000张。
20.优选的，在步骤(s2-1)中，所述的不同成像模式可包括短波红外成像、中波红外成像、长波红外成像、光谱成像以及偏振成像等。
21.优选的，在步骤(s2-3)中，所述神经网络采用了端对端的神经网络，其中，所述的端对端的神经网络包含下采样、上采样和跳跃连接三个步骤。
22.优选的，所述的端对端神经网络模型是具有u型结构的神经网络结构unet，其中包括下采样、上采样和跳跃连接三个步骤；另外在上采样的过程中加入了se注意力机制层；所述的unet神经网络的下采样步骤可通过2*2的最大池化层和卷积核大小为3*3的卷积层实现，上采样步骤可通过反卷积或插值实现，跳跃连接步骤可通过复制和裁剪来实现，se注意力机制层是通过全局平均池化、全连接层和激活函数来实现。
23.优选的，所述的端对端的神经网络的损失函数可为一类可用于比较图像相似程度的损失函数如为mse损失函数或交叉熵损失函数，与之对应的网络模型参数停止更新的设定条件为mse损失函数值小于0.0006。
24.优选的，在步骤(s4)中，所述的选择一张图像作为固定图像，该图像不能是由中波红外相机和偏振相机所拍摄的图像。
25.优选的，在步骤(s4)中，所述的基于灰度的图像配准算法的计算相似度的方法包括但不限于互信息法，还可采用最小二乘法，傅里叶法，互相关法等，优化算法包括但不限于平均误差平方和算法，还可采用平均绝对差算法、误差平方和算法、序贯相似性检测算法
等。
26.本发明与现有技术相比具有以下的有益效果：
27.1、本发明的基于深度学习的多模态图像配准方法将语义分割神经网络与基于灰度的图像配准方法相结合，通过语义分割网络对图像中的多模态图像的背景进行滤除，以便于在计算灰度值信息时能消除背景图像灰度信息带来的干扰，通过优化算法成功找到最优变换，从而完成图像配准。由于消除了背景灰度值信息的影响，使得图像配准精度更高，从而使得计算出的最优变换t误差更小，进而有利于图像配准。
28.2、本发明的基于深度学习的多模态图像配准方法在对图像集a中的原图像语义分割后，得到分割后的图像集b；需要将图像集b中的图像与图像集a中一一对应的图像逐像素点相乘，得到配准图像集c，这样可以使得配准图像集c中的图像只含有与配准主体相关的全部灰度值信息(即筛除掉多模态图片背景中与配准主体无关的灰度值信息)，这有利于在后续图像配准过程中通过灰度值信息正确计算图像之间的相似度，通过优化算法找到最优变换；基于此，本发明的图像配准方法在配准图像集c进行最优变换t的求解，并将计算得到的最优变换t应用到图像集a中的原图上，完成对图像集a中的多模态图像集的配准。
29.3、本发明所使用的带有注意力机制的u型神经网络，相较于传统的全卷积网络主要有两个优点：一、传统的全卷积网络对于深层信息和浅层信息的融合是通过对应像素相加的方式，而本发明中所使用的神经网络是通过通道拼接的方式实现，优点是，传统的像素点的相加后特征图的维度没有变化但每个维度都包含了更多的信息，但在该发明中的语义分割这样的二分类问题中，拼接则保留了更多的维度信息和位置信息，这一关键的跳跃连接步骤融合了底层信息的位置信息与深层特征的语义信息，使得后面的神经网络层可以在浅层特征和深层特征自由选择，这对解决该问题来说更有优势。二、本发明所使用的神经网络加入了注意力机制，像人类视觉系统机制会倾向于关注图像中重要的信息而忽略掉不相关的信息一样，注意力机制可以通过注意力层动态调控各通道的权重，从而重新校准特征来提高网络的表示能力。首先通过压缩来获得全局的感受野，表征特征通道上响应的全局分布，然后通过参数来为每个特征通道生成权重，最终组成注意力层。在处理复杂的多模态图像时，通过这样的结构可以大大增加网络对配准主体的捕捉能力，从而提高分割的精度。
30.4、本发明的基于深度学习的多模态图像配准方法将深度学习技术(语义分割神经网络)与图像配准技术结合，不仅解决了手动语义分割后进行图像配准所带来的速度慢、效率低、成本高等问题，而且也克服了传统的基于灰度的图像配准方法无法实现对复杂的多模态图像进行正确配准的难题；使得本发明的基于深度学习的多模态图像配准方法在提高图像配准效率的前提下，进一步地提高了图像配准的精度。
附图说明
31.图1为本发明的基于深度学习的多模态图像配准方法的流程框图。
32.图2为本发明的基于深度学习的多模态图像配准方法的使用的神经网络结构图。
33.图3为本发明的基于深度学习的多模态图像配准方法的使用的神经网络训练过程中损失函数平方根误差(mse)曲线图。
具体实施方式
34.下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
35.参见图1-图3，本发明的基于深度学习的多模态图像配准方法包括以下步骤：
36.(s1)、使用不同成像模式的相机对配准主体进行拍摄，并将拍摄到的一组不同模态的图像放入图像集a中；
37.(s2)、将图像集a作为net神经网络的输入，得到进行语义分割后的图像集b；
38.(s3)、将图像集b中的每张图像与图像集a中对应的图像逐像素点相乘，得到配准图像集c；
39.(s4)、在图像集c中选择一张图像作为固定图像，将其余图像作为形变图像，使用基于灰度的图像配准算法分别通过合适的优化算法计算出每张浮动图像与固定图像对齐的最佳变换t；
40.(s5)、将各自分别得到的最佳变换t应用到图像集a中的图像得到配准后的图像。
41.参见图1-图3，在步骤(s2)中，net神经网络的构建包括以下步骤：
42.(s2-1)、使用不同成像模式的相机对配准主体拍摄不同模态的n张照片，放入图像集input中；
43.(s2-2)、对图像集input中的图像做手动语义分割，分割结果为生成一张分辨率与待分割的图片一致的模板图片，模板图片中与待分割图片的目标对应位置的像素值为1，模板图片中与待分割图片的背景对应位置的像素值为0，放入图像集label中；
44.(s2-3)、构建一个用于语义分割的端对端的神经网络，初始化神经网络的权重和偏置参数，将分割前的图像集input作为输入，将分割后的图像集作为标签，计算神经网络的输出与标签之间的损失函数值，并将损失函数值的梯度做反向传播以更新网络模型的参数，直至损失函数值小于预先设定好的数值，则停止更新网络模型参数，得到一个训练完成的神经网络net；
45.参见图2，所述的端对端神经网络模型是具有u型结构的神经网络结构unet，其中包括下采样、上采样和跳跃连接三个步骤；另外在上采样的过程中加入了se注意力机制层；所述的unet神经网络的下采样步骤可通过2*2的最大池化层和卷积核大小为3*3的卷积层实现，上采样步骤可通过反卷积或插值实现，跳跃连接步骤可通过复制和裁剪来实现，se注意力机制层是通过全局平均池化、全连接层和激活函数来实现。
46.参见图1-图3，所述的端对端的神经网络的损失函数可为一类可用于比较图像相似程度的损失函数如为mse损失函数或交叉熵损失函数，实施例中使用的是mse损失函数，与之对应的网络模型参数停止更新的设定条件为mse损失函数值小于0.0006。
47.参见图1-图3，在步骤(s4)中，所述的基于灰度的图像配准算法计算相似度的方法包括但不限于互信息法，本实施例中使用的是互信息法，还可采用最小二乘法，傅里叶法，互相关法等，优化算法包括但不限于平均误差平方和算法，本实施例中使用的是平均误差平方和算法，还可采用平均绝对差算法、误差平方和算法、序贯相似性检测算法等。
48.另外，本实施例中所述的不同成像模式包括短波红外成像、中波红外成像、长波红外成像、光谱成像以及偏振成像等。
49.另外，本实施例中所述的选择一张图像作为固定图像，该图像选择了短波红外相
机所拍摄的图像。
50.上述为本发明较佳的实施方式，但本发明的实施方式并不受上述内容的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。