基于协同注意力和串联通道互相关的无人机目标跟踪方法及系统

本发明涉及计算机视觉，特别是一种基于协同注意力和串联通道互相关的无人机目标跟踪方法及系统。

背景技术：

1、目标跟踪是计算机视觉领域中一个重要的研究方向。随着信息科技的发展，目标跟踪在人机交互、自动驾驶、国防安全和视频监控中得到越来越多的重视和应用。近年来，无人机因为其小巧灵活、智能自主等特点，广泛应用于民用和军事等领域中，例如大气环境检测、抢险救灾、侦察敌情、敌方目标跟踪、搜索战场情报等，特别是搜索侦察过程中，最重要的就是的目标跟踪任务。因此，基于深度学习的目标跟踪算法在无人机中的应用越来越广泛。无人机视觉目标跟踪场景的复杂性和运动目标的多变性，使得目标特征提取及目标模型建立困难，对目标跟踪性能带来巨大的挑战。

2、由于目标跟踪技术在无人机中有丰富的应用场景，近年来已经成为国内外研究的热点，涌现出众多优秀的算法，同时出现了许多富有挑战性的数据集，并且数据集的难度在逐渐增加，这也对目标跟踪算法的改进和创新提出了新的要求，以应对复杂多变场景下的目标跟踪问题。

3、目标跟踪算法分为生成类目标跟踪算法和判别类目标跟踪算法两大类，第一类如粒子滤波、均值漂移以及卡尔曼滤波等算法都属于生成类目标跟踪算法；第二类是判别类目标跟踪算法，其在目标跟踪算法中增加了检测环节，更注重对被跟踪对象与背景的区分，通过离线预训练或在线学习的方式得到一个检测器，使用这个检测器完成区分背景与前景目标的任务，进而得到被跟踪对象的位置，因此在效果上比生成类目标跟踪算法表现得更加鲁棒。在判别类目标跟踪算法中，以相关滤波、深度学习为基础对单目标跟踪算法进行研究，是目前的主要趋势。

技术实现思路

1、本发明的目的在于提供一种跟踪性能强、定位精确度高的基于协同注意力和串联通道互相关的无人机目标跟踪方法及系统，一方面能够解决目标出现尺度变化、目标遮挡时不能精确定位到目标所在位置的问题，另一方面能够解决跟踪目标出现背景干扰、相似目标干扰等情况时特征不匹配的问题。

2、实现本发明目的的技术解决方案为：一种基于协同注意力和串联通道互相关的无人机目标跟踪方法，包括以下步骤：

3、步骤1、将视频的第一帧图片进行裁剪得到模板分支的输入，将后续帧图片进行裁剪得到搜索分支的输入，经过孪生网络对第一帧图片和后续帧图片进行特征提取，然后通过协同注意力模块进行特征交互，得到模板特征图和搜索特征图；

4、步骤2、将步骤1得到的模板特征图和搜索特征图输入到串联通道互相关模块进行互相关操作，得到输出特征图；

5、步骤3、将步骤2得到的输出特征图输入到无锚的跟踪头网络中，通过分类分支得到特征图中每一个像素点的分类分数，通过中心度分支得到各像素点与目标之间的中心度分数，通过回归分支得到每个像素点对应的目标框信息；

6、步骤4、将步骤3中每一个像素点的分类分数与中心度分数相乘，选取得分最高的像素点，通过回归分支确定该像素的目标框信息，从而确定当前帧的目标所在的位置；

7、步骤5、重复步骤1～步骤4，直至跟踪到视频中最后一帧的位置为止。

8、一种基于协同注意力和串联通道互相关的无人机目标跟踪系统，该系统用于实现所述的基于协同注意力和串联通道互相关的无人机目标跟踪方法，所述系统包括特征提取模块、互相关操作模块、跟踪头网络模块、目标位置确定模块、跟踪模块，其中：

9、所述特征提取模块，将视频的第一帧图片进行裁剪得到模板分支的输入，将后续帧图片进行裁剪得到搜索分支的输入，经过孪生网络对第一帧图片和后续帧图片进行特征提取，然后通过协同注意力模块进行特征交互，得到模板特征图和搜索特征图；

10、互相关操作模块，将特征提取模块得到的模板特征图和搜索特征图输入到串联通道互相关模块进行互相关操作，得到输出特征图；

11、跟踪头网络模块，将互相关操作模块得到的输出特征图输入到无锚的跟踪头网络中，通过分类分支得到特征图中每一个像素点的分类分数，通过中心度分支得到各像素点与目标之间的中心度分数，通过回归分支得到每个像素点对应的目标框信息；

12、目标位置确定模块，将跟踪头网络模块中每一个像素点的分类分数与中心度分数相乘，选取得分最高的像素点，通过回归分支确定该像素的目标框信息，从而确定当前帧的目标所在的位置；

13、跟踪模块，重复特征提取模块、互相关操作模块、跟踪头网络模块、目标位置确定模块的处理过程，直至跟踪到视频中最后一帧的位置为止。

14、一种移动终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的基于协同注意力和串联通道互相关的无人机目标跟踪方法。

15、一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现所述的基于协同注意力和串联通道互相关的无人机目标跟踪方法中的步骤。

16、本发明与现有技术相比，其显著优点在于：

17、(1)采用了预训练权重resnet50的后三个block结构，在三个block结构后面都添加一个协同注意力模块，来进行深度挖掘模板特征与搜索特征的内在相关性，并强调两个分支之间的交互信息对于强化模型外观表达的有效性，从而能更好的识别目标；

18、(2)使用串联通道互相关模块进行互相关操作，从而学习到更多明显的特征，有效地解决了跟踪目标出现背景干扰、相似目标干扰等情况时特征不匹配的问题，从而提高了模型的跟踪性能。

技术特征：

1.一种基于协同注意力和串联通道互相关的无人机目标跟踪方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于协同注意力和串联通道互相关的无人机目标跟踪方法，其特征在于，步骤1中的孪生网络为共享权重的resnet50，使用了resnet50的最后三个block模块，将孪生网络与协同注意力模块进行结合，在每一个block模块后面都添加一个协同注意力模块。

3.根据权利要求2所述的基于协同注意力和串联通道互相关的无人机目标跟踪方法，其特征在于，所述步骤1具体如下：

4.根据权利要求3所述的基于协同注意力和串联通道互相关的无人机目标跟踪方法，其特征在于，步骤2所述的将步骤1得到的模板特征图和搜索特征图输入到串联通道互相关模块进行互相关操作，得到输出特征图，具体如下：

5.根据权利要求4所述的基于协同注意力和串联通道互相关的无人机目标跟踪方法，其特征在于，步骤3中的分类分支用于对目标的区分，回归分支用于得到目标大小的尺度信息；

6.根据权利要求5所述的基于协同注意力和串联通道互相关的无人机目标跟踪方法，其特征在于，所述分类分支使用的是交叉熵损失函数，所述回归分支使用的是-lniou损失函数，整个网络的最终损失l表示为：

7.根据权利要求6所述的基于协同注意力和串联通道互相关的无人机目标跟踪方法，其特征在于，步骤3中所述的中心度分支的响应特征图为acen，acen∈rh×w×1，响应特征图为acen的大小为h×w，1表示响应图的通道数量，包含每个像素点的中心度分数，将中心度分数与分类分数相乘得到准确的目标分数；

8.一种基于协同注意力和串联通道互相关的无人机目标跟踪系统，其特征在于，该系统用于实现如权利要求1～7任一项所述的基于协同注意力和串联通道互相关的无人机目标跟踪方法，所述系统包括特征提取模块、互相关操作模块、跟踪头网络模块、目标位置确定模块、跟踪模块，其中：

9.一种移动终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1～7任一项所述的基于协同注意力和串联通道互相关的无人机目标跟踪方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1～7任一项所述的基于协同注意力和串联通道互相关的无人机目标跟踪方法中的步骤。

技术总结本发明公开了一种基于协同注意力和串联通道互相关的无人机目标跟踪方法及系统，具体为：将视频中的第一帧图片和后续帧分别作为模板分支和搜索分支的输入，经过孪生网络对其特征提取，使用协同注意力模块，将提取到的特征进行交互，使模板能够适应目标外观的变化；将得到的输出特征输入到串联通道互相关模块进行互相关操作，然后输入到无锚的跟踪头网络中，通过分类分支得到特征图中每一个像素点的分类分数，通过中心度分支来判断各像素点与目标之间的远近关系，通过回归分支得到每个像素点对应的目标框信息，将分类分数与中心度分支相乘，选取得分最高的像素点，从而得到准确的目标框信息。本发明具有无人机目标跟踪性能强、定位精确度高的优点。技术研发人员：林勇,卜少青,尹明锋,张英杰,张佳珲,李耀宗,王志威,朱欣宇,郭锦秀,洪星,赵高鹏,王超尘,朱建良,吴盘龙,王军,薄煜明,李丽,贝绍轶,张兰春受保护的技术使用者：江苏理工学院技术研发日：技术公布日：2024/11/14