基于锚框匹配和Siamese网络的无人机目标跟踪方法与流程

技术特征：
1.基于锚框匹配和siamese网络的无人机目标跟踪方法，其特征在于：该方法包括以下步骤，s1：选取大量无人机采集的跟所要跟踪目标有关的图像序列，并离线预训练一个siamese网络，网络包含一个用于特征提取的骨干网络和一个包含分类与回归的区域建议网络，训练方法如下：s2：将视频转化为图像帧输入系统，并读入第1帧；s3：利用模板分支提取第1帧目标图像特征之后经过卷积运算分别上采样到2k个通道和4k个通道，分别作为检测分支分类任务与回归任务的核滤波；s4：读取下一帧，利用检测分支提取当前帧图像中搜索区域的图像特征之后扩展为两个分支任务特征图，分别与预计算出的起始帧两个核滤波做卷积运算，得到每个锚框相应的得分与偏移量；s5：对预设定的锚框进行距离惩罚，抛弃那些距离中心点过远的锚框；s6：利用所保留的锚框以及结合网络输出的锚框偏移量来获得建议框；s7：利用余弦窗和惩罚项对保留下来的锚框分数重新排序得到分数最高的一个侯选锚框，同时添加余弦窗来抑制大的距离位移，并且对分数添加惩罚项来抑制尺寸和尺度上大的变化；s8：对分类得分进行重新排序，然后利用roi感知模型来选择最终的作为当前帧的跟踪预测框；s9：利用线性插值法更新目标尺寸，保持平滑变化；s10：重复s4
‑
s9直到处理完全部无人机视频帧图像，得到并输出视频跟踪结果。2.根据权利要求1所述的基于锚框匹配和siamese网络的无人机目标跟踪方法，其特征在于：s1中，s1.1：设计由五层卷积层组成的孪生网络和一个区域建议网络，孪生网络的上面为模板分支下面为检测分支，构造有效的损失函数，设计了动态锚框匹配策略在训练过程中进行正负样本的设计，设计了针对于每个分支的损失函数；s1.2：采用两个分支的加权损失作为对于整个网络的整体损失，并采用sgd算法进行网络权重优化，保留训练的模型参数，用于跟踪阶段。3.根据权利要求1所述的基于锚框匹配和siamese网络的无人机目标跟踪方法，其特征在于：roi感知模型操作过程如下：s8.1：利用roialign得到初始帧中目标的roi特征z
roi
；s8.2：选择分类得分中前k个最高得分，并且对相应的目标框进行nms过滤，得到上一帧预测目标中心附近的所有目标的最佳检测框；利用roialign得到这些检测目标的roi特征集x
roi
；s8.3：将z
roi
与特征集x
roi
依次进行相似度计算，相似度计算函数采用曼哈顿距离，得到最相似的建议框为下一帧的目标框。

技术总结
本发明公开了基于锚框匹配和Siamese网络的无人机目标跟踪方法，包括以下步骤：搭建一个5层的Siamese网络和一个包含分类与回归两个分支的区域建议网络RPN，通过分类分支得到目标位置，通过回归分支得到目标尺度；将动态锚框匹配准则应用在训练阶段，用于优化分类任务与回归任务，使一个任务的预测能够动态的设计锚框样本用来改善另一个任务的模型，从而使得RPN的两个分支模型可以相互学习，更加快速准确的得到目标的位置与尺度；在跟踪阶段，先获取目标附近的前K个得分最高的候选框建立目标搜索库，再利用感兴趣区域(ROI)感知模型找出最可靠的预测框，降低复杂背景对跟踪算法的影响。本发明有效地提升了跟踪算法的精度，具有较好的鲁棒性。有较好的鲁棒性。有较好的鲁棒性。


技术研发人员：刘芳 张帅超
受保护的技术使用者：北京工业大学
技术研发日：2021.08.20
技术公布日：2021/12/16