一种基于多级融合和池化注意力机制的船舶重识别方法

本申请涉及图像处理，尤其涉及基于多级融合和池化注意力机制的船舶重识别方法。

背景技术：

1、随着海洋经济、海洋运输和海事管理的快速发展，海上贸易交通愈发频繁，同时，海洋经济的繁荣也使得海上航线船舶数量不断增加。这给海洋综合监测、海事维权监管等带来了极大的困难。因此，针对海洋的全方位观测，尤其是海洋船舶的身份确知已迫在眉睫。为了解决这个问题，船舶重识别技术应运而生。船舶重识别是一种通过图像处理技术对船舶进行身份确认的方法。通过图像采集设备获取船舶的图像，然后利用计算机视觉技术对图像进行处理和分析，提取出船舶的特征信息，并与已知的船舶特征信息进行比对，从而实现对船舶的重识别。它在海上监视和侦察中发挥着重要作用。

2、然而，以往的船舶识别系统通常基于合成孔径雷达(sar)图像、自动识别系统(ais)数据或视频流，这面临着昂贵的部署成本，如sar和ais的安装成本、通信和存储开销。此外，在复杂的海上交通场景下,船舶不仅种类繁多、形态各异，而且同一类型船舶数量多、差异小，具有典型的“类间差异小、类内差异大”的特点，这导致重识别模型很难仅仅根据船舶的全局外观属性(颜色，纹理等属性)对他们进行区分。因此，船舶重识别技术已经成为当前智能交通系统的一个研究热点。

技术实现思路

1、本申请的目的在于提供一种，以解决现有技术中船舶识别系统部署成本昂贵，且很难仅仅根据船舶的全局外观属性(颜色，纹理等属性)对他们进行区分的缺陷。

2、为解决上述技术问题，本申请是采用下述技术方案实现的：

3、第一方面，一种基于多级融合和池化注意力机制的船舶重识别方法，包括以下步骤

4、获取图库和待重识别的船舶图像；

5、根据图库和船舶图像，采用重识别网络模型获取船舶图像的重识别结果；其中重识别网络模型包括resnet50、多级融合模块、池化注意力模块和相似度计算模块；所述多级融合模块用以融合所述resnet50每层提取的特征，所述池化注意力模块用以获取所述多级融合模块输出特征中的判别性特征；相似度计算模块计算船舶图像判别性特征和图库中图像判别性特征的相似度，确定船舶图像的重识别结果。

6、本申请进一步的方案，采用重识别网络模型获取船舶图像的重识别结果之前，对图库中的图像和船舶图像进行增强，所述增强的过程包括：

7、将图像xorig分为多个分支并对每个分支进行增强图像；利用加权平均方式将多个增强图像组合成形成的图像xmix。

8、更进一步的方案，所述多级融合模块处理过如下；

9、对图像的多个浅层特征依次进行卷积、batchnorm、relu、最大池化处理，获得特征fl(·)；

10、对图像的多个深层特征依次进行卷积、batchnorm、tanh、全局平均池化处理，获得特征fh(·)；

11、将fi(·)和fh(·)相乘，获得融合特征foutput。

12、本申请进一步的方案，所述池化注意力模块包括通道池化注意力和空间池化注意力,所述通道池化注意力用以在通道维度上提取并增强多级融合模块输出特征中判别性特征；所述空间池化注意力用以在空间维度上提取并增强判别性特征。

13、更进一步的方案，所述通道池化注意力处理过程；

14、将多级融合模块的输出特征分别进行平均池化处理、软池化处理、最小池化处理和广义平均池化处理；

15、将平均池化、软池化的处理结果相加并经卷积处理得到特征a1，将广义平均池、化最小池化处理结果相减经卷积处理得到特征a2；将特征a1和特征a2相乘得到特征c*；

16、将c*依次进行conv、relu和conv操作得到通道池化注意力的输出结果x′。

17、更进一步的方案，所述空间池化注意力处理过程；

18、将多级融合模块的输出特征经过平均池化、软池化、最小池化以及广义平均池化处理得到各池化处理结果；

19、平均池化和软池化的输出结果相加得到特征b1，相减得到特征b2，b1和b2相乘得到特征s*；

20、再经过conv操作得到空间池化注意力的输出特征y′；

21、最后将池化注意力的输出特征x′和空间池化注意力的输出特征y′相乘得到池化注意力模块的输出特征xpam；

22、将经过池化注意力模块的输出特征xpam通过广义平均池化、批处理归一化层对其进行缩小，再采用全连接层对船舶数量进行对齐和分类。

23、本申请进一步的方案，训练时，所述重识别网络模型采用交叉熵llsce和稀疏成对损失lsf函数；

24、交叉熵损失函数为：

25、

26、其中，llsce表示基于标签平滑的交叉熵损失，n表示训练批次中船舶类别的数量，ε表示平滑因子参数，pi表示模型对第i个类别的预测概率，i表示当前样本的索引，n表示船舶类别的索引；

27、稀疏成对损失为：

28、

29、其中，lsp表示稀疏成对损失，用于衡量模型输出结果与真实结果之间的误差，表示批处理量中的船舶类别，是用来衡量损失情况，β是一个平衡参数，表示所有样本中最不难的正样本对，表示所有样本中最难的负样本对；

30、总损失表示如下：

31、ltotal＝λ1llsce+λ2lsp

32、其中，λ1和λ2表示两个不同损失的权值。

33、第二方面，一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。

34、第三方面，一种计算机系统，包括

35、存储器，用于存储计算机程序/指令；

36、处理器，用于执行所述计算机程序/指令以实现上述方法的步骤。

37、与现有技术相比，本申请所达到的有益效果：

38、本申请以骨干网resnet50为主干网络，对输入图片进行特征提取，并利用多级融合和池化注意力的方法进行特征增强，以提取出更具有辨识度的船舶特征。此外，通过基于平滑标签的交叉熵损失和稀疏成对损失来计算待重识别的船舶图像的图像特征与图库中船舶图像特征之间的相似度，有效地提高了船舶重识别性能。

技术特征：

1.一种基于多级融合和池化注意力机制的船舶重识别方法，其特征在于，包括以下步骤

2.根据权利要求1所述的基于多级融合和池化注意力机制的船舶重识别方法，其特征在于，采用重识别网络模型获取船舶图像的重识别结果之前，对图库中的图像和船舶图像进行增强，所述增强的过程包括：

3.根据权利要求2所述的基于多级融合和池化注意力机制的船舶重识别方法，其特征在于，所述多级融合模块处理过如下；

4.根据权利要求1所述的基于多级融合和池化注意力机制的船舶重识别方法，其特征在于；所述池化注意力模块包括通道池化注意力和空间池化注意力,所述通道池化注意力用以在通道维度上提取并增强多级融合模块输出特征中判别性特征；所述空间池化注意力用以在空间维度上提取并增强判别性特征。

5.根据权利要求4所述的基于多级融合和池化注意力机制的船舶重识别方法，其特征在于；所述通道池化注意力处理过程；

6.根据权利要求5所述的基于多级融合和池化注意力机制的船舶重识别方法，其特征在于；所述空间池化注意力处理过程；

7.根据权利要求1所述的基于多级融合和池化注意力机制的船舶重识别方法，其特征在于；训练时，所述重识别网络模型采用交叉熵llsce和稀疏成对损失lsf函数；

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8任一项所述方法的步骤。

9.一种计算机系统，其特征在于，包括

技术总结本申请公开了图像处理领域中一种基于多级融合和池化注意力机制的船舶重识别方法，包括以下步骤获取图库和待重识别的船舶图像；根据图库和船舶图像，采用重识别网络模型获取船舶图像的重识别结果；其中重识别网络模型包括ResNet50、多级融合模块、池化注意力模块和相似度计算模块；所述多级融合模块用以融合所述ResNet50每层提取的特征，所述池化注意力模块用以获取所述多级融合模块输出特征中的判别性特征；相似度计算模块计算船舶图像判别性特征和图库中图像判别性特征的相似度，确定船舶图像的重识别结果；本申请以骨干网ResNet50为主干网络，对输入图片进行特征提取，并利用多级融合和池化注意力的方法进行特征增强，以提取出更具有辨识度的船舶特征。技术研发人员：孙伟,管菲,张小瑞,沈欣怡,郭邦祺,叶健峰受保护的技术使用者：南京信息工程大学技术研发日：技术公布日：2024/7/29