一种基于3D感知的无人机协同方法及相关产品

本申请涉及无人机，尤其涉及无人机协同控制，可应用于无人机编队的协同飞行场景。更具体的，本申请公开了一种基于3d感知的无人机协同方法及相关产品。

背景技术：

1、近年来，类似于集群行为的无人机编队飞行吸引了国内外很多学者的研究，编队飞行的核心在于获取无人机在三维空间中的位姿信息以及无人机之间的相对位置信息。在相关技术中，编队飞行主要依靠gps定位系统和地面控制站来获取无人机信息，但是gps定位系统的有效应用场景较为局限，在室内飞行场景中会存在失效的可能性，且在复杂飞行场景下的定位精度难以得到保证，导致多无人机协同编队飞行的稳定性较差。

2、值得注意的是，在此部分中描述的技术不一定是之前已经设想到或采用的技术。除非另有指明，否则不应假定此部分中描述的任何技术仅因其包括在此部分中就被认为为现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。

技术实现思路

1、本申请实施例提供了一种基于3d感知的无人机协同方法及相关产品，旨在至少在一定程度上解决相关技术中的问题之一。

2、本申请实施例第一方面提供了一种基于3d感知的无人机协同方法，应用于跟随者无人机的机载终端，包括：

3、对深度相机采集的原始数据进行解算，得到光强数据和深度数据；

4、对所述光强数据和所述深度数据进行处理，将处理后的所述光强数据和所述深度数据进行通道拼接，得到检测图像；

5、基于所述检测图像进行目标识别，得到领航者无人机相应的目标识别信息；其中，所述目标识别信息包括所述领航者无人机在所述检测图像中的目标边界框位置、目标边界框尺寸及类别；

6、基于所述目标识别信息确定所述领航者无人机的三维空间坐标；

7、根据所述领航者无人机的三维空间坐标输出相应的飞行控制指令；其中，所述飞行控制指令用于指示所述跟随者无人机的飞行控制系统调整工作参数。

8、本申请实施例第二方面提供了一种基于3d感知的无人机协同装置，应用于跟随者无人机的机载终端，包括：

9、解算模块，用于对深度相机采集的原始数据进行解算，得到光强数据和深度数据；

10、处理模块，用于对所述光强数据和所述深度数据进行处理，将处理后的所述光强数据和所述深度数据进行通道拼接，得到检测图像；

11、识别模块，用于基于所述检测图像进行目标识别，得到领航者无人机相应的目标识别信息；其中，所述目标识别信息包括所述领航者无人机在所述检测图像中的目标边界框位置、目标边界框尺寸及类别；

12、确定模块，用于基于所述目标识别信息确定所述领航者无人机的三维空间坐标；

13、控制模块，用于根据所述领航者无人机的三维空间坐标输出相应的飞行控制指令；其中，所述飞行控制指令用于指示所述跟随者无人机的飞行控制系统调整工作参数。

14、本申请实施例第三方面提供了一种机载终端，包括：存储器及处理器，其中，处理器用于执行存储在存储器上的计算机程序，处理器执行计算机程序时，实现上述本申请实施例第一方面提供的基于3d感知的无人机协同方法中的各步骤。

15、本申请实施例第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时，实现上述本申请实施例第一方面提供的基于3d感知的无人机协同方法中的各步骤。

16、由上可见，根据本申请方案所提供的基于3d感知的无人机协同方法及相关产品，对深度相机采集的原始数据进行解算，得到光强数据和深度数据；对光强数据和深度数据进行处理，将处理后的光强数据和深度数据进行通道拼接，得到检测图像；基于检测图像进行目标识别，得到领航者无人机相应的目标识别信息；其中，目标识别信息包括领航者无人机在检测图像中的目标边界框位置、目标边界框尺寸及类别；基于目标识别信息确定领航者无人机的三维空间坐标；根据领航者无人机的三维空间坐标输出相应的飞行控制指令。通过本申请提供的3d感知系统，可以有效保证实际应用场景中的无人机定位精度，提高了无人机协同飞行的稳定性。

17、应当理解，本部分所描述的内容并非旨在标识本申请的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种基于3d感知的无人机协同方法，应用于跟随者无人机的机载终端，其特征在于，包括：

2.根据权利要求1所述的无人机协同方法，其特征在于，所述对所述光强数据和所述深度数据进行处理，将处理后的所述光强数据和所述深度数据进行通道拼接，得到检测图像，包括：

3.根据权利要求2所述的无人机协同方法，其特征在于，所述将校正后的所述深度数据转换为三维空间点云，包括：

4.根据权利要求1所述的无人机协同方法，其特征在于，所述基于所述目标识别信息确定所述领航者无人机的三维空间坐标，包括：

5.根据权利要求4所述的无人机协同方法，其特征在于，所述基于所述目标识别信息中的所述目标边界框位置和所述目标边界框尺寸，获取所述领航无人机的轮廓像素，包括：

6.根据权利要求1所述的无人机协同方法，其特征在于，所述根据所述领航者无人机的三维空间坐标输出相应的飞行控制指令，包括：

7.根据权利要求6所述的无人机协同方法，其特征在于，还包括：

8.一种基于3d感知的无人机协同装置，应用于跟随者无人机的机载终端，其特征在于，包括：

9.一种机载终端，其特征在于，包括存储器及处理器，其中：

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1至7中的任意一项所述基于3d感知的无人机协同方法中的步骤。

技术总结本申请提供了一种基于3D感知的无人机协同方法及相关产品，具体实现方案为：对深度相机采集的原始数据进行解算，得到光强数据和深度数据；对光强数据和深度数据进行处理，将处理后的光强数据和深度数据进行通道拼接，得到检测图像；基于检测图像进行目标识别，得到领航者无人机相应的目标识别信息；其中，目标识别信息包括领航者无人机在检测图像中的目标边界框位置、目标边界框尺寸及类别；基于目标识别信息确定领航者无人机的三维空间坐标；根据领航者无人机的三维空间坐标输出相应的飞行控制指令。通过本申请提供的3D感知系统，可以有效保证实际应用场景中的无人机定位精度，提高了无人机协同飞行的稳定性。技术研发人员：蒙山,郑新琦受保护的技术使用者：深圳大学技术研发日：技术公布日：2024/7/18