一种基于360环视摄像头的无人机行人跟踪系统的制作方法

本发明属于无人机领域，更具体的说涉及一种基于360环视摄像头的无人机行人跟踪系统。

背景技术：

1、无人机应用逐渐广泛，其中，无人机跟踪行人成为了一个新兴研究领域。例如，在无人机灾害应急救援、野生动物保护、户外运动摄影、海关执法等领域都需要无人机能够准确跟踪目标。然而，行人跟踪对无人机的控制系统以及视觉算法提出了很高的要求。

2、在传统的无人机行人跟踪系统中，通常采用单镜头摄像头和基于图像处理的跟踪算法来实现。然而，这种方法存在一些明显的缺点。

3、首先，单镜头摄像头的视野有限，不能实现全方位的目标跟踪，当目标移出摄像头视野时，无法进行有效跟踪。同时，因为无人机的飞行稳定性和摄像头角度受到诸多因素的影响，使得视频图像中的目标可能会有大幅度的移动甚至消失，这都给目标跟踪带来了困扰。

4、其次，基于图像处理的跟踪算法，如均值漂移（mean-shift）算法、camshift算法等，虽然这些算法在一定程度上可以实现目标跟踪，但是由于环境复杂多变，目标的外观、大小和颜色也可能发生改变，这些都会使得图像处理算法的跟踪效果大打折扣。

5、而且，传统的无人机行人跟踪系统大多数基于连续帧之间的目标物体外观特性进行跟踪，而在实际环境中，由于光线、遮挡、背景纷繁复杂等因素的影响，导致行人跟踪的实时性和准确性不能得到保证。

6、综上所述，现有的无人机行人跟踪系统在跟踪效果、跟踪范围及跟踪稳定性等方面存在一定的问题，需要一种新的无人机行人跟踪系统，旨在解决上述问题，提高无人机的行人跟踪性能。

技术实现思路

1、本发明旨在解决现有无人机行人跟踪系统在跟踪准确性、实时性及适应性方面的问题，尤其是在环境复杂多变、目标外观和位置变化频繁的情况下，提高无人机对行人的追踪能力。同时，本发明还致力于改进无人机的飞行控制策略，使其能在保证追踪准确性的同时，更好地应对不确定的外部环境，提高无人机行人跟踪过程中的飞行稳定性和安全性。

2、为了实现上述目的，本发明是采用以下技术方案实现的：所述的系统包括360环视摄像头、行人跟踪模块、无人机控制模块，

3、通过360环视摄像头对行人进行视频信息采集；

4、将行人视频信息送入行人跟踪模块进行数据分析；

5、行人跟踪模块分析完成后的数据输入无人机控制模块对无人机进行飞行控制。

6、在一个方案中，所述的行人跟踪模块内包含行人跟踪算法，采用改进的siamrpn++算法；将siamrpn++算法的预训练特征提取模块采用基于深度卷积神经网络alexnet算法作为预训练特征提取。

7、在一个方案中，所述的行人跟踪系统的流程如下：

8、s1、预处理阶段；安装360环视摄像头在无人机主体上，为无人机提供全方位的视觉信息，包括行人位置，运动轨迹；

9、s2、特征提取阶段；无人机将从摄像头获取的图像作为模板图像和搜索图像，输入到预训练的深度卷积神经网络alexnet模型中，得到模板特征图和搜索特征图；

10、s3、目标定位与跟踪；过使用模板特征图和搜索特征图生成相关性图，来确定目标的位置；

11、s4、无人机飞行控制：在无人机对目标行人进行跟踪的过程中，系统会实时地根据目标行人的位置，调整无人机的飞行高度和方向。

12、在一个方案中，所述的深度卷积神经网络alexnet包含5个卷积层和3个全连接层；对图像进行卷积运算，提取图像的空间特征；再通过激活函数relu引入非线性，增强模型表达能力；然后通过池化层对特征图进行降采样，降低计算复杂度；最后通过全连接层进行特征整合；

13、表达式如下：

14、

15、其中x为输入图像，*为卷积操作，w1、w2为可学习的参数，b1、b2为偏置项，relu激活函数被定义为：relu(x) = max(0, x)。

16、在一个方案中，所述的特征提取阶段，

17、将从摄像头获取的图像作为模板图像i_t和搜索图像i_s，输入到预训练的深度卷积神经网络alexnet模型中，得到模板特征图f_t和搜索特征图f_s；公式如下：

18、

19、

20、其中，f代表alexnet模型。

21、在一个方案中，所述的目标定位与跟踪，s2特征提取后，获得两份特征图：模板特征图f_t和搜索特征图f_s；然后将它们输入到区域提议网络，区域提议网络rpn包含两个分支，一个是分类分支，一个是回归分支；

22、分类分支计算每个提议框的分类得分，回归分支对提议框的位置和尺寸进行调整；

23、通过使用模板特征图f_t和搜索特征图f_s生成相关性图c；模板特征图f_t和搜索特征图f_s在互相关后会生成两个特征图，这两个特征图分别代表置信度得分图d和回归调整图r；

24、

25、其中，代表互相关操作；

26、然后，通过对相关性图c进行分析，找出具有最大值的位置，即为预测目标位置p，公式如下：

27、

28、其中，argmax表示找出相关性图c上具有最大值的位置；

29、计算置信度得分图d，以及预测目标位置p与真实目标位置之间的偏移量δp，进行进一步的定位修正；计算公式如下:

30、

31、

32、其中，σ是softmax函数，将c的元素值映射到(0,1)范围内，r是回归框位置，p是通过置信度得分图d得到的预测位置；

33、通过这两个特征图，置信度得分图和回归调整图，模型就能进行分类和回归，给出目标的坐标位置。

34、在一个方案中，所述的无人机飞行控制过程如下：

35、s401、初始时，无人机在某个位置，行人跟踪算法输出目标行人的位置信息；

36、s402、无人机通过gps导航系统获取自己的当前位置信息；

37、s403、对比无人机当前位置和目标位置，计算距离差和方向差，即误差；

38、s404、pid控制器通过如下数学公式计算飞行控制策略：

39、

40、其中，是控制器输出，用于调整无人机飞行的速度和方向；是误差，即目标位置与无人机当前位置的差值；kp, ki和kd分别是比例、积分、微分增益，用于调整控制器对误差的敏感程度；

41、s405、无人机根据pid控制器输出的飞行策略，通过改变马达或者螺旋桨的速度来调整自己的飞行路线和飞行高度，直至无人机到达目标位置附近；

42、s406、在飞行过程中，如果目标行人的位置发生变化，行人跟踪算法实时更新目标位置信息，无人机重新计算误差，并根据pid控制器的策略继续调整飞行路线和高度，追踪目标行人。

43、本发明有益效果：

44、1、视野全面：通过使用360环视摄像头，无人机能够实现全方位的观察，有效地解决了传统单镜头摄像头视野限制的问题，使得无人机能全面捕捉和跟踪目标。

45、2、跟踪准确：行人跟踪模块应用改进的siamrpn++算法，结合深度卷积神经网络alexnet的预训练特征提取，对行人的定位和跟踪准确性有明显提升。

46、3、控制精细：通过pid控制器精确调整无人机的飞行策略，实现对无人机飞行路线和飞行高度的实时精确控制，即使在复杂环境中也能保证行人跟踪的精确性。

47、4、反应灵敏：无论是行人的位置变动或者发生突发情况，本系统都能进行快速响应适应，提供实时更新的目标位置信息，并马上做出调整。