一种基于深度学习的船舶目标追踪方法

本发明涉及目标追踪，具体地说，涉及一种基于深度学习的船舶目标追踪方法。

背景技术：

1、例如在船舶工业，对于船上特殊工作环境的监测是船舶日常工作运维和人员保护的重要组成部分。针对船舶驾驶室、机炉舱等各类舱室的人员行为及动线确认也至关重要，因此需要通过识别非工作人员闯入敏感工作区域的监控，记录人员的动线并进行行为识别。

2、在多目标追踪的技术领域中，常用的算法会采用一些人工设计的特征，例如光流法、粒子滤波法、均值漂移滤波法等。然而由于这些算法会受到场景中的噪音、目标运动速度和帧率选择等多重因素的影响，因此传统的多目标追踪算法中的目标特征需要依赖专业人员调参，算法不确定性太大，难以准确识别目标和无法满足目标动向跟踪监测的需求。

3、为了应对上述问题，现亟需一种基于深度学习的船舶目标追踪方法。

技术实现思路

1、本发明的目的在于提供一种基于深度学习的船舶目标追踪方法，以解决上述背景技术中提出的问题。

2、为实现上述目的，提供了一种基于深度学习的船舶目标追踪方法，包括：

3、基于retinanet网络构建的第一神经网络模型中并用于训练目标识别，构建船舶多目标追踪数据集，基于yolox-s模型对船舶多目标追踪数据集进行训练，得到多目标追踪模型；

4、目标信息参数采集，根据实际情况将对追踪目标进行实时数据采集并导入船舶多目标追踪模型中；

5、获取预设监测区域的视频流，并将经过预处理的视频流的画面帧输入至已训练的第一神经网络模型，得到所述画面帧中每个目标的目标检测结果；

6、将多个待追踪目标的检测结果加入到追踪队列中；

7、输入下一帧视频流并遍历所述追踪队列，得到目标在下一帧中的位置；

8、确定相邻两帧船舶图像对应的相似度关系损失矩阵；

9、基于所述相似度关系损失矩阵，将至少一个目标的目标检测结果输入至已训练的多目标追踪模型以进行位置预测，得到目标对应的轨迹信息。

10、进一步的，所述retinanet网络是以resnet分类网络作为主干网络、fpn算法和两个fcn子网络构建并组成所述第一神经网络模型，其中主干网络包括多层串联的特征提取层；特征提取层将提取的特征向量p进行加权，然后作为输入样本传输到下一个模式层。

11、进一步的，在第一神经网络的模式层中，神经元数量等于所有训练样本的数量，当传输层接受矢量x时，模式层中第二类i样本的第三种j神经元匹配的输入关系如下：

12、

13、其中，为第一类i样本的第2个j神经元的输出，d为样本空间的维数，xij是第i类样本的第j级中心；σ为平滑因子；

14、在同一模式层的模式层神经元输出加权平均关系如下：

15、

16、其中，fi是i级的输出；l是i级神经元的数量，在输出层中概率密度最高的神经元输出为1，其余神经元输出为0。

17、进一步的，所述确定相邻两帧船舶图像对应的相似度关系损失矩阵的步骤包括：

18、首先将两张图片预处理之后通过参数相同的孪生网络提取图片特征；其次，所述孪生网络通过稠密-稀疏-稠密的卷积神经网络提取图片特征；

19、然后，将两个特征相减作为融合的特征，然后再将该特征通过全连接层进行回归得到目标框的位置；

20、确定相邻两帧图像对应的目标框之间的交并比，以及重识别特征相似度；基于所述交并比以及所述重识别特征相似度，确定相邻两帧船舶图像对应的相似度关系损失矩阵。

21、进一步的，获取预设监测区域的视频流，并将经过预处理的视频流的画面帧输入至已训练的第一神经网络模型，得到所述画面帧中每个目标的目标检测结果的步骤包括：

22、通过接入摄像设备以获取到预设监控区域的视频流，所述视频流的参数包括每秒传帧数、每帧的宽度和高度、像素的一种或多种组合；

23、初始化跟踪器，设置相关参数并计算余弦距离度量，以及设置使用所述跟踪器中的两帧图片目标之间最大余弦距离，并控制相邻目标特征的计算；

24、将所述视频流按帧预处理图像画面，将每帧图片改变至所述第一神经网络模型处理的尺寸，并根据不同场景调整参数；

25、将帧画面输入至所述第一神经网络模型，得到该画面的目标检测结果。

26、进一步的，将至少一个目标的目标检测结果输入至已训练的多目标追踪模型以进行位置预测，得到目标对应的轨迹信息的步骤包括：

27、根据所述目标检测结果，确定目标在当前帧中的目标状态信息，并生成检测框检测框；预测对应目标在当前帧的跟踪框，计算当前帧检测框与预测的跟踪框之间的运动相似度与外观相似度，对所述运动相似度和所述外观相似度进行数据融合得到第一重匹配；

28、使用所述多目标追踪模型对第一重匹配中未能正确匹配的跟踪框进行第二重匹配，所述第二重匹配是以目标检测结果中提取的目标特征、目标框坐标、目标框类所进行的；

29、在经过双重匹配后获得最终的匹配结果，根据最终的匹配结果对检测框进行位置预测。

30、与现有技术相比，本发明的有益效果：

31、1、通过标注船舶多目标跟踪数据集，使模型得到更好的训练和评估，在主干特征提取网络中使用重参数化卷积层，在扩大网络宽度的同时不增加推理速度，能够使网络更加充分的提取特征，提高目标检测和特征提取的准确性，满足了实时性的要求。而且，本发明还基于相似度关系损失矩阵，将多个船舶检测目标对应的所有轨迹与当前帧船舶图像的高分边界框进行匹配，进行船舶轨迹追踪，得到了更好的跟踪结果，能够实现在复杂场景下实现船舶跟踪。

技术特征：

1.一种基于深度学习的船舶目标追踪方法，其特征在于，包括：

2.根据权利要求1所述的一种基于深度学习的船舶目标追踪方法，其特征在于，所述retinanet网络是以resnet分类网络作为主干网络、fpn算法和两个fcn子网络构建并组成所述第一神经网络模型，其中主干网络包括多层串联的特征提取层；特征提取层将提取的特征向量p进行加权，然后作为输入样本传输到下一个模式层。

3.根据权利要求2所述的一种基于深度学习的船舶目标追踪方法，其特征在于：在第一神经网络的模式层中，神经元数量等于所有训练样本的数量，当传输层接受矢量x时，模式层中第二类i样本的第三种j神经元匹配的输入关系如下：

4.根据权利要求3所述的一种基于深度学习的船舶目标追踪方法，其特征在于：所述确定相邻两帧船舶图像对应的相似度关系损失矩阵的步骤包括：

5.根据权利要求4所述的一种基于深度学习的船舶目标追踪方法，其特征在于：获取预设监测区域的视频流，并将经过预处理的视频流的画面帧输入至已训练的第一神经网络模型，得到所述画面帧中每个目标的目标检测结果的步骤包括：

6.根据权利要求5所述的一种基于深度学习的船舶目标追踪方法，其特征在于：将至少一个目标的目标检测结果输入至已训练的多目标追踪模型以进行位置预测，得到目标对应的轨迹信息的步骤包括：

技术总结本发明涉及空调故障诊断技术领域，公开了一种基于深度学习的船舶目标追踪方法，包括基于RetinaNet网络构建的第一神经网络模型中并用于训练目标识别，构建船舶多目标追踪数据集，基于YOLOX‑S模型对船舶多目标追踪数据集进行训练，得到多目标追踪模型；目标信息参数采集，根据实际情况将对追踪目标进行实时数据采集并导入船舶多目标追踪模型中；获取预设监测区域的视频流，并将经过预处理的视频流的画面帧输入至已训练的第一神经网络模型，得到所述画面帧中每个目标的目标检测结果；将多个待追踪目标的检测结果加入到追踪队列中；输入下一帧视频流并遍历所述追踪队列，得到目标在下一帧中的位置；确定相邻两帧船舶图像对应的相似度关系损失矩阵；基于所述相似度关系损失矩阵，将至少一个目标的目标检测结果输入至已训练的多目标追踪模型以进行位置预测，得到目标对应的轨迹信息，本发明的有益效果在于：在扩大网络宽度的同时不增加推理速度，能够使网络更加充分的提取特征，提高目标检测和特征提取的准确性，满足了实时性的要求。技术研发人员：仇旭燕受保护的技术使用者：江苏海事职业技术学院技术研发日：技术公布日：2024/7/29