基于手势识别的VR交互方法、系统、装置及介质

本发明涉及虚拟现实，尤其涉及一种基于手势识别的vr交互方法、系统、装置及介质。

背景技术：

1、随着vr(virtual reality，虚拟现实)技术的发展，用户对于沉浸式体验的需求日益增长。传统的vr交互多依赖于外部控制器，这限制了用户的自然交互能力。近年来，手势识别技术的进步为vr交互提供了新的可能性，但现有的手势识别vr交互系统仍存在识别精度不高、交互方案单一和多平台兼容性差等问题。

技术实现思路

1、有鉴于此，本发明实施例的目的是提供一种基于手势识别的vr交互方法、系统、装置及介质，通过优化手势识别算法、设计新型交互方案以及实现多端兼容，提升了vr交互的自然性、准确性和兼容性。

2、一方面，本发明实施例提供了一种基于手势识别的vr交互方法，所述方法包括以下步骤：

3、s100，获取kinect2传感器对用户采集的原始手势数据，所述原始手势数据包括第一深度图像和第一彩色图像；

4、s200，对所述原始手势数据处理得到手势轮廓，基于所述手势轮廓拟合得到手势模型；

5、s300，通过预先训练好的手势识别模型对拟合得到的手势模型进行分类，识别出手势类型；

6、s400，将识别出的手势类型映射为vr环境中相应的交互动作。

7、可选地，所述对所述原始手势数据处理得到手势轮廓，基于所述手势轮廓拟合得到手势模型，包括：

8、s210，对第一深度图像滤波得到第二深度图像，对第一彩色图像进行颜色空间转换，得到第二彩色图像；

9、s220，使用肤色模型对第二彩色图像进行肤色检测，得到手部预测区域，对所述手部预测区域进行图像分割，得到手部区域；

10、s230，通过边缘检测算法，从手部区域提取手势轮廓；

11、s240，采用特征点检测算法识别所述手势轮廓中手部的关键点，使用聚类算法对关键点进行分组，以识别关键特征，进而利用关键特征拟合得到手势模型。

12、可选地，所述手势识别模型通过以下方式预先训练得到：

13、s310，获取标注好关键特征和手势类别标签的手势轮廓图像，将多张不同的构建为标注集；

14、s320，构建包含cnn模型和全连接层的机器学习模型，通过cnn模型对标注集中的手势轮廓图像进行特征提取，输出预测关键特征，通过全连接层对预测关键特征进行手势分类，输出预测手势类别；

15、s330，基于预测关键特征和标注好的关键特征确定第一损失值，基于预测手势类别和手势类别标签确定第二损失值，基于所述第一损失值和第二损失值确定联合损失值；

16、s340，基于所述联合损失值分别调整cnn模型的参数和全连接层的参数，直至所述联合损失值降低到设定的损失阈值或迭代训练的次数达到设定的次数阈值，得到手势识别模型。

17、可选地，所述将识别出的手势类型映射为vr环境中相应的交互动作，包括：

18、s410，构建用于与kinect2传感器通信的适配层，通过适配层获取kinect2传感器发送的原始手势数据，并将其转换为统一的数据模型；

19、s420，构建包括硬件抽象层、转换层和api层的中间件，通过硬件抽象层与不同硬件接口对接，通过转换层将不同硬件的数据格式转换为统一的数据模型，通过api层提供标准化的手势数据访问接口；

20、s430，将所述适配层和中间件集成到vr应用中的3d引擎中，将识别出的手势类型映射为vr环境中相应的交互动作。

21、另一方面，本发明实施例提供了一种基于手势识别的vr交互系统，包括：

22、第一模块，用于获取kinect2传感器对用户采集的原始手势数据，所述原始手势数据包括第一深度图像和第一彩色图像；

23、第二模块，用于对所述原始手势数据处理得到手势轮廓，基于所述手势轮廓拟合得到手势模型；

24、第三模块，用于通过预先训练好的手势识别模型对拟合得到的手势模型进行分类，识别出手势类型；

25、第四模块，用于将识别出的手势类型映射为vr环境中相应的交互动作。

26、另一方面，本发明实施例提供了一种基于手势识别的vr交互装置，包括：

27、至少一个处理器；

28、至少一个存储器，用于存储至少一个程序；

29、当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上述的方法。

30、另一方面，本发明实施例提供了一种计算机可读存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行上述的方法。

31、本发明实施例包括以下有益效果：本发明公开了一种基于手势识别的vr交互方法、系统、装置及介质，通过采用先进的手势识别技术，结合机器学习算法，实现了对用户手势的高精度识别。同时，设计了多种交互动作和场景适配方案，提升了用户的交互体验。

技术特征：

1.一种基于手势识别的vr交互方法，其特征在于，所述方法包括以下步骤：

2.根据权利要求1所述的方法，其特征在于，所述对所述原始手势数据处理得到手势轮廓，基于所述手势轮廓拟合得到手势模型，包括：

3.根据权利要求2所述的方法，其特征在于，所述手势识别模型通过以下方式预先训练得到：

4.根据权利要求3所述的方法，其特征在于，所述将识别出的手势类型映射为vr环境中相应的交互动作，包括：

5.一种基于手势识别的vr交互系统，其特征在于，所述系统包括：

6.一种基于手势识别的vr交互装置，其特征在于，包括：

7.一种计算机可读存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序在由处理器执行时用于执行如权利要求1至4任一项所述的方法。

技术总结本发明涉及虚拟现实技术领域，尤其涉及一种基于手势识别的VR交互方法、系统、装置及介质，方法包括：获取Kinect2传感器对用户采集的原始手势数据，所述原始手势数据包括第一深度图像和第一彩色图像；对所述原始手势数据处理得到手势轮廓，基于所述手势轮廓拟合得到手势模型；通过预先训练好的手势识别模型对拟合得到的手势模型进行分类，识别出手势类型；将识别出的手势类型映射为VR环境中相应的交互动作；本发明可以提升VR交互的自然性、准确性和兼容性。技术研发人员：吴绍棋,官泽良受保护的技术使用者：广东职业技术学院技术研发日：技术公布日：2024/8/1