一种基于虚拟现实的无人机集群控制方法

本发明涉及无人机控制领域，特别是涉及一种基于虚拟现实的无人机集群控制方法。

背景技术：

1、在无人机领域，在有多架无人机的环境下，如何控制无人机集群，使其按照想要的编队协同飞行一直是备受人们关注的课题。传统的无人机控制方法主要是遥控器操控、智能手机或平板操控，这使得人们通常都会通过一个物理设备和完全设定好的程序方法与无人机进行交互，并不能完全满足人们的一些特殊需求。此外，当面对多架无人机组成的集群时，上述方法更是难以操控，尤其是对初学者来说极不友好。同时，当前也有通过全球定位系统（global positioning system，gps）导航等技术让无人机自主飞行，或是配备视觉传感器等设备让无人机实现特定任务。然而，这些技术都是通过预设的方式让无人机飞行，中途想要改变就显得较为困难，也会依赖操控者的经验水平。

2、在虚拟现实方面，无人机可以与多种场景结合，例如虚拟现实空战游戏、无人机飞行培训、艺术表演等等。这些场景对无人机集群的控制指挥、无人机编队的快速变换要求都很高，仅仅靠手柄的操作难度较大。因此，需要一套无人机集群控制方法来辅助操控。

3、综上，现阶段的无人机集群控制方法在一些方面缺乏一定的交互性，这可能会影响初次使用者的体验，也会在一些紧急情况下不利于操作。

技术实现思路

1、本发明的目的是提供一种基于虚拟现实的无人机集群控制方法，在无人机集群控制的过程中具有交互性，降低无人机集群控制的复杂度。

2、为实现上述目的，本发明提供了一种基于虚拟现实的无人机集群控制方法，包括以下步骤。

3、用户佩戴头显设备进入虚拟环境。

4、通过所述头显设备实时采集用户的初步手势图像及用户的眼动数据。

5、从所述初步手势图像中识别用户的手势动作。

6、基于预先建立的映射表确定所述用户的手势动作对应的无人机控制指令；所述映射表中包括多组键值对，每组键值对中的键表示手势动作，每组键值对中的值表示无人机控制指令。

7、根据所述用户的眼动数据确定对应的无人机控制指令。

8、基于所述用户的手势动作对应的无人机控制指令以及所述用户的眼动数据对应的无人机控制指令，控制无人机集群的飞行状态，并在所述虚拟环境中实时渲染所述无人机集群的飞行状态；所述飞行状态包括所述无人机集群中每架无人机的位置、速度及方向。

9、根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明使用头显设备的手部追踪和眼动追踪功能，在虚拟现实环境中使用手势动作和眼动数据与无人机集群进行交互，指挥无人机集群的飞行状态，在无人机集群控制的过程中具有交互性，降低了无人机集群控制的复杂度，能够为用户带来更好的交互体验。

技术特征：

1.一种基于虚拟现实的无人机集群控制方法，其特征在于，所述基于虚拟现实的无人机集群控制方法包括：

2.根据权利要求1所述的基于虚拟现实的无人机集群控制方法，其特征在于，所述头显设备为htc vive xr头显。

3.根据权利要求1所述的基于虚拟现实的无人机集群控制方法，其特征在于，所述头显设备上搭载有全脸追踪器，通过所述全脸追踪器实时采集用户的眼动数据。

4.根据权利要求1所述的基于虚拟现实的无人机集群控制方法，其特征在于，所述头显设备上搭载有前置摄像头及深度传感器；所述初步手势图像包括初步rgb图像及初步深度图像；

5.根据权利要求1所述的基于虚拟现实的无人机集群控制方法，其特征在于，所述映射表中的手势动作包括单独手势及组合手势；

6.根据权利要求1所述的基于虚拟现实的无人机集群控制方法，其特征在于，根据所述用户的眼动数据确定对应的无人机控制指令，具体包括：

7.根据权利要求1所述的基于虚拟现实的无人机集群控制方法，其特征在于，基于所述用户的手势动作对应的无人机控制指令以及所述用户的眼动数据对应的无人机控制指令，控制无人机集群的飞行状态，具体包括：

8.根据权利要求7所述的基于虚拟现实的无人机集群控制方法，其特征在于，所述无人机控制指令中包括速度偏移量及方向偏移量；

9.根据权利要求1所述的基于虚拟现实的无人机集群控制方法，其特征在于，所述用户的手势动作包括选择手势、移动手势及队形手势；所述选择手势用于选择无人机；所述移动手势用于调整已选择无人机的飞行状态；所述队形手势用于调整无人机集群的队形；

技术总结本发明公开一种基于虚拟现实的无人机集群控制方法，涉及无人机控制领域，方法包括：用户佩戴头显设备进入虚拟环境；通过头显设备实时采集用户的初步手势图像及眼动数据；从初步手势图像中识别用户的手势动作；基于预先建立的映射表确定用户的手势动作对应的无人机控制指令；根据用户的眼动数据确定对应的无人机控制指令；基于用户的手势动作对应的无人机控制指令以及用户的眼动数据对应的无人机控制指令，控制无人机集群的飞行状态，并在虚拟环境中实时渲染无人机集群的飞行状态；其中，飞行状态包括无人机集群中每架无人机的位置、速度及方向。本发明在无人机集群控制的过程中具有交互性，降低了无人机集群控制的复杂度。技术研发人员：刘逸凡,赵振杰受保护的技术使用者：南京信息工程大学技术研发日：技术公布日：2024/7/25