一种基于Re-LSTM网络的四旋翼无人机位姿估计方法与流程

本发明属于多传感器融合与深度学习领域，更具体地说是一种基于re-lstm网络的四旋翼无人机位姿估计方法。

背景技术：

1、无人机已经在世界范围内的各个领域有了广泛的应用，特别是应用在农业，如农作物种植、药物喷洒；工业，如危险场景中的设备维修与检测、军事，如场地侦察。然而，当前基于深度学习的无人机位姿估计方法往往需要集成多个传感器的数据，如何有效地整合异源数据始终是一个痛点问题，且在复杂环境，如城市、林区等密集场景，光照变化等情况下传感器数据可能缺乏足够的精度和鲁棒性，故在融合数据后仍然需要更好的算法和数据支持来提高位姿估计的准确性和稳定性，故如何在集成多源数据后仍能提高无人机位姿估计的精度是一个挑战。

2、而现有的位姿估计方法所依赖的神经网络模型在室外场景中对四旋翼无人机的姿态估计精度较低，导致远程控制室误判无人机当前的飞行状态，从而下达不适合的指令造成无人机机体的损伤。

技术实现思路

1、本发明是为了解决上述现有技术存在的不足之处，提出一种re-lstm网络的四旋翼无人机位姿估计方法，以期通过优化lstm网络结构，并对网络进行训练得到对四旋翼无人机位姿估计结果更精确的模型，从而能实时且准确的输出四旋翼无人机当前的姿态，使得远程工作站能实时且精准的判断四旋翼无人机的姿态并及时发布指令，辅助无人机高效完成任务。

2、本发明为达到上述发明目的，采用如下技术方案：

3、本发明一种基于re-lstm网络的四旋翼无人机位姿估计方法的特点在于，包括如下步骤：

4、步骤1、采集四旋翼无人机在当前时刻t的数据并进行预处理，得到到四旋翼无人机在当前时刻t的位姿特征et_cur；

5、步骤2、建立re-lstm网络，并对et_cur进行处理，得到第r个输出单元输出的当前时刻t的预测位姿特征poser,t_pred；

6、步骤3、构建损失函数losst_pose并训练re-lstm网络，从而得到训练好的四旋翼无人机位姿估计模型，用于实时估计四旋翼无人机的当前位姿。

7、本发明所述的一种基于re-lstm网络的四旋翼无人机位姿估计方法的特点也在于，所述步骤1包括如下步骤：

8、步骤1.1、采集四旋翼无人机在当前时刻t的姿态[q0_t,q1_t,q2_t,q3_t]t和位置坐标[x1_t,y1_t,z1_t]t以及四旋翼无人机在当前时刻t所观测到的物体深度图像[dep0_t,img0_t]t；其中，t表示转置，dep0_t表示物体深度图像在当前时刻t的深度像素值，img0_t表示物体深度图像在当前时刻t的彩色像素值；

9、步骤1.2、利用式(1-1)对[q0_t,q1_t,q2_t,q3_t]t进行数据预处理，得到四旋翼无人机在当前时刻t预处理后的姿态[q0_t_pro,q1_t_pro,q2_t_pro,q3_t_pro]t

10、

11、式(1-1)中：α1,β1,γ1分别四旋翼无人机在当前时刻t的偏航角、俯仰角、翻滚角，△t表示时间差，且△t∈[0,1]；

12、步骤1.3、利用式(1-2)对[dep0_t,img0_t]t进行数据预处理，得到当前时刻t预处理后的物体深度图像[dep0_t_pro,img0_t_pro]t：

13、

14、在式(1-2)中：f表示深度相机的焦距值，为深度相机沿着x轴方向的深度图像分辨率，为深度相机沿着y轴方向的深度图像分辨率，c1、c2为互不相等的常数，且均不为零；

15、步骤1.4、利用式(1-3)得到四旋翼无人机在当前时刻t的位姿特征et_cur：

16、

17、式(1-3)中：ε为观测过程的零偏误差，τ为观测噪声，g为状态转移矩阵，并有：

18、

19、所述步骤2中的re-lstm网络，依次包括：输入模块input、特征提取模块exact、遗忘模块forget、更新模块update、隐藏层模块hidden、输出模块output；

20、步骤2.1、输入模块input由并联的p个基础单元构成；

21、将位姿特征et_cur分别输入输入模块input的每个基础单元中进行处理，得到当前时刻t的基础位姿特征集合et_pre＝{ep,t_pre|p＝1,2,..p}，其中，ep,t_pre表示第p个基础单元输出的当前时刻t的基础位姿特征；

22、步骤2.2、特征提取模块exact由并联的u个提取单元构成，其中，任意第u个提取单元由k1个卷积层conv、k2个池化层pool依次构成；

23、将et_pre输入特征提取模块exact中，先分别经过u个提取单元的k1个卷积层conv的处理，得到当前时刻t的粗位姿特征集合et_exact＝{eu,t_exact|u＝1,2,..u}，其中，eu,t_exact表示第u个提取单元输出的当前时刻t的粗位姿特征；

24、et_exact再分别经过u个提取单元的k2个池化层pool的处理，得到当前时刻t的标准位姿特征集合et_exact＝{eu,t_pool|u＝1,2,..u}，其中，eu,t_pool表示第u个提取单元输出的当前时刻t的标准位姿特征；

25、步骤2.3、遗忘模块forget由k3个特征补偿支路并联组成；

26、将eu,t_pool输入到k3个特征补偿支路中，并利用式(2-1)生成当前时刻t的第u个补偿位姿特征eu,t_fus，从而得到当前时刻t的补偿位姿特征集合et_fus＝{eu,t_fus|u＝1,2,..u}：

27、

28、式(2-1)中，eu,i,t_fus表示第i个特征补偿支路输出的当前时刻t的第u个补偿位姿特征，wi是第i个特征补偿支路的权重，bi是第i个特征补偿支路的偏置，且wi，bi均不为0；k表示特征补偿支路的编号，k3表示特征补偿支路的总数；

29、步骤2.4、更新模块update由并联的o个更新单元构成，其中，任意第o个更新单元由g3个上采样层依次组成；

30、将et_fus分别输入到更新模块update中的o个更新单元中进行上采样的处理，得到当前时刻t的精位姿特征集合et_pci＝{eo,t_pci|o＝1,2..o}，其中，eo,t_pci表示第o个更新单元输出的当前时刻t的精位姿特征；

31、步骤2.5、隐藏层模块hidden由并联的o个隐藏单元构成，其中，任意第o个隐藏单元由一个激活层构成；

32、将et_pci分别输入到隐藏层模块hidden中的o个隐藏单元中进行处理，并利用式(2-2)得到当前时刻t的激活位姿特征集合et_act＝{eo,t_act|o＝1,2..o}：

33、

34、式(2-2)中，eo,t_act表示第o个隐藏单元输出的当前时刻t的激活位姿特征；

35、步骤2.6、输出模块output由并联的r个输出单元构成，其中，任意第r个输出单元由g4个上采样层和1个全连接层依次构成；

36、将et_act分别输入到输出模块output中r个输出单元进行处理后，得到当前时刻t的预测位姿特征集合poset_pred＝{poser,t_pred|r＝1,2..r}，其中，poser,t_pred表示第r个输出单元输出的当前时刻t的预测位姿特征。

37、所述步骤3包括如下步骤：

38、步骤3.1、利用式(3-1)构建四旋翼无人机在当前时刻t的位姿预测损失函数losst_pose：

39、

40、式(3-1)中：表示预处理后的物体深度图像在当前时刻t的深度像素值dep0_t_pro的标准差，表示预处理后的物体深度图像在当前时刻t的彩色像素值img0_t_pro的标准差，σdep0_t_pro表示预处理后的物体深度图像在当前时刻t的深度像素值dep0_t_pro的方差，σimg0_t_pro表示预处理后的物体深度图像在当前时刻t的深度像素值img0_t_pro的方差，||||为二范数；d1、d2分别表示预处理后的物体深度图像中的深度像素在当前时刻t的包含的测量噪声，预处理后的物体深度图像中的彩色像素在当前时刻t的包含的测量噪声。

41、步骤3.2、通过sgd优化器对re-lstm网络进行迭代训练，并计算总损失函数losst_pose以调整网络参数，直到总损失函数losst_pose收敛为止，从而得到训练好的四旋翼无人机位姿估计模型，用于实时估计四旋翼无人机的当前位姿。

42、本发明一种电子设备，包括存储器以及处理器的特点在于，所述存储器用于存储支持处理器执行所述四旋翼无人机位姿估计方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。

43、本发明一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序的特点在于，所述计算机程序被处理器运行时执行所述四旋翼无人机位姿估计方法的步骤。

44、与现有技术相比，本发明的有益效果在于：

45、1、本发明re-lstm网络中的特征提取模块exact依次由并联的u个基础单元构成，其中，任意第u个基础单元由k1个卷积层conv、k2个池化层pool依次构成，克服了lstm网络中的输入门提取特征不充分的缺陷，减轻遗忘模块forget进行特征筛选时的计算压力，提升了整个网络的运行效率。在实际场景中，无人机可能面临各种动态环境，如风速变化、气流扰动等。特征提取模块exact能够通过学习历史位姿数据的变化模式，提取出适应动态环境的特征，从而提高了位姿估计的鲁棒性。

46、2、本发明re-lstm网络中的遗忘模块forget由并联的g3个特征补偿支路组成，该模块可以动态地决定对哪一支路的特征进行结合或消融，防止过多旧信息的干扰，减轻了数据计算负担，克服了原lstm网络中只消除特征而不结合特征以及算法消耗过大的缺陷，避免了重要特征的损失，从而对能够更加专注于提取有利于估计无人机位姿的传感器数据，提高了对无人机位姿估计的准确性。

47、3、本发明re-lstm网络中的隐藏层模块hidden由并联的o个激活层构成，该模块可以灵活地选择带有时间戳的传感器数据序列所包含的特征，同时克服各种动态环境的影响，例如气流、风速变化、传感器噪声等，捕捉不同传感器之间的时序关系，丢弃不重要的特征或保留并加强对关联特征的提取，从而更好地理解无人机的姿态变化，并更精准地预测无人机未来的姿态特征，从而提高了无人机的自主导航和自主避障的成功率。