一种基于360环视摄像头辅助的无人机边缘计算处理方法与流程

本发明属于无人机数据处理领域，更具体的说涉及一种基于360环视摄像头辅助的无人机边缘计算处理方法。

背景技术：

1、在无人机监控，搜救，农业，航拍，物流等领域，对环境的感知和理解尤为重要。另一方面，由于无人机本身受限于电池容量和负载，不能使用太复杂的算法。因此，如何实现在无人机边缘设备上进行高效、准确且实时的环境感知和无人机控制就成为一个重要的挑战。

2、在这个背景下，360环视摄像头辅助的无人机边缘计算处理方法应运而生。通过在无人机上装载360环视摄像头，以及在无人机上进行边缘计算，可以实时捕捉周围环境的图片或者视频数据，实时检测目标，实时控制无人机的飞行状态或者摄像头的拍摄角度。

3、然而，基于无人机的环境感知和控制方法在实施中还存在一些问题。例如，由于无人机视觉范围的广泛性和复杂性，以及现有图像处理和识别技术的有限性，使得实时处理和分析大量的图像数据，准确地识别目标，以及精确地控制无人机往往很困难。同时，由于资源的限制，无人机伴随的计算能力和存储能力也具有一定的限制，这进一步增加了无人机进行实时边缘计算处理的难度。因此，如何在有限的资源条件下，实现无人机环境感知和控制的高效和精确，是无人机系统需要解决的一个重要问题。

4、同时，由于无人机的特殊性，它不仅对环境的感知要求高，同时也对环境控制要求较高。例如，无人机需要在复杂的环境中飞行，这就要求无人机具有自主导航，避障等功能。

技术实现思路

1、本发明提供了一种基于360环视摄像头辅助的无人机边缘计算处理方法，充分利用无人机自身的计算资源，实现边缘计算，减少数据传输量，提高数据处理速度，实现实时感知处理和准确控制。

2、为了实现上述目的，本发明采用以下技术方案实现的：所述的方法包括：

3、s1、数据采集：在无人机上安装360环视摄像头，用于捕捉周围环境的图片或者视频数据；

4、s2、前期处理：根据需要对采集的数据进行预处理，包括把图像转化为灰度图、对图像进行裁剪或者缩放；

5、s3、边缘计算：在无人机上进行边缘计算，进行目标检测；

6、s4、决策与控制，根据边缘计算设备处理的结果，实时调整无人机的飞行状态或摄像头的拍摄角度，对无人机进行更加精准的控制。

7、在一个方案中，所述的数据采集，根据任务需要，设定采集数据的采集频率、采集时间、采集范围；

8、启动数据采集：根据所设置的参数启动数据采集，360环视摄像头开始捕捉周围环境的图片或者视频数据。

9、在一个方案中，所述的图像转化为灰度图如下：

10、具体计算公式如下：

11、

12、其中，代表灰度值，r、g、b分别代表图像的红、绿、蓝三个通道的像素值；

13、所述的裁剪，是选取图像的某一部分；假设要裁剪图像的左上角坐标为(x1, y1)，右下角坐标是(x2, y2)，所以裁剪后的图像就是原图像i上在这个范围内的部分：

14、；

15、所述的缩放，设原图像大小为(m,n)，目标图像大小为(p,q)，要从源图像得到目标图像上的一个像素点(x, y)，用如下公式：

16、

17、

18、然后在源图像中找到(,)的四个近邻像素，利用双线性插值公式得到目标图像的像素点；这里的坐标轴是以图片左上角为原点，向右为x正方向，向下为y正方向。

19、在一个方案中，所述的边缘计算的目标检测采用基于区域卷积神经网络r-cnn进行改进的自适应区域提取网络aren；

20、在aren中，让网络自适应地学习最佳的提取区域大小；aren的结构主要包括两个部分，一部分是对输入图像进行特征提取的基础网络，一部分是自适应地提取区域的子网络；

21、假设基础网络为f，输入原始图像i得到特征图s=f(i)，输入到子网络的区域大小参数是θ，子网络的输出经过sigmoid函数转化成0-1间的数值s=sigmoid(g(θ))；该输出s乘上特征图s得到区域特征；

22、区域特征经过后续的rpn和全连接层进行目标检测；

23、在训练阶段，让子网络学习到一个最佳的参数使得模型的目标检测精度最高；在训练过程中，θ并不是预训练得到，而是让模型自适应地进行学习；能够根据图像内容自适应地选择最优的候选区域大小；

24、用以下公式表示：

25、

26、

27、

28、其中的g是自适应地提取候选区域的子网，s是经典的cnn，vgg、resnet网络的特征输出；r是用于接下来的物体检测的区域特征。

29、在一个方案中，所述的决策与控制，利用自适应pid算法进行无人机的飞行状态或摄像头拍摄角度的精确调整，其中，自适应pid算法的实现过程如下：

30、s401、初始化比例增益kp、积分增益ki和微分增益kd的值；初始化误差e(t)和误差变化率de(t)；

31、s402、计算当前的误差e(t) = s(t) - c(t)，其中s(t)是设定值，c(t)是当前的飞行状态或摄像头拍摄角度；

32、s403、计算误差变化率de(t) = e(t) - e(t-1)，其中e(t-1)是上一时刻的误差；

33、s404、计算控制量；

34、s405运用模糊逻辑算法等来调节增益值kp、ki、kd，使得最后的控制效果最佳；

35、自适应pid算法根据系统的实际状态，动态地修正控制器的比例增益kp、积分增益ki和微分增益kd，使得无人机能够根据实际情况作出精确的飞行状态或摄像头拍摄角度调整。

36、在一个方案中，所述的模糊逻辑算法等来调节增益值kp、ki、kd具体如下：

37、s4051、设定模糊逻辑控制器的输入为误差e和误差变化率de，这两个输入值都会被模糊化，即转换为模糊集，然后通过查找模糊规则表，得到每个增益值调整的模糊输出；

38、s4052、对模糊输出进行解模糊操作，获得具体的增益调整值；通过采用最大隶属度法解模糊方法来实现；

39、s4053、将得到的具体增益调整值应用于pid控制器中，得到新的kp、ki、kd，用于计算新的控制量；

40、具体的模糊输出o可以表示为：

41、

42、其中，oi是第i个模糊输出，μi是oi对应的隶属度函数值；

43、然后通过设置合适的学习率，将求得的模糊输出o应用于pid控制器中，得到新的增益值k为：

44、

45、其中，α代表学习率，取值在0～1之间。

46、本发明有益效果：

47、（1）提高实时性：本发明在无人机上进行边缘计算，无需将大量数据传输至云端再进行处理，大大提高了数据处理的实时性，满足了无人机在复杂环境下实时感知和处理的需求。

48、（2）提升数据处理效率：本发明利用360环视摄像头捕捉周围环境的全景信息，并进行预处理如转化为灰度图、裁剪或缩放，有利于减少数据量，降低计算复杂度，提升数据处理效率。

49、（3）提高无人机控制精度：本发明通过自适应pid算法，对无人机的飞行状态或摄像头的拍摄角度进行实时调整和精确控制，提高了无人机的飞行控制精度，增强了无人机的稳定性和安全性。

50、（4）节省资源：无需依赖云端的繁重计算，将计算任务放在无人机本地完成，节约了云端资源，减轻了网络传输压力，有利于无人机长时间作业。