一种多设备交互手势控制方法及系统与流程

本发明涉及人机交互，具体涉及一种多设备交互手势控制方法及系统。

背景技术：

1、随着智能设备的普及，用户对更直观和符合人体工程学的输入设备需求日益增加。传统的输入设备如鼠标和键盘虽然有效，但在现代图形用户界面、虚拟现实和增强现实系统中使用时，限制了自然和流畅的动作。基于手势的控制系统提供了一种更自然、更符合人体工程学的输入方式。

2、现有技术中，手势识别设备多以摄像头为基础，存在硬件复杂、成本高、使用受限等问题。本发明旨在提供一种便捷、低成本的基于手势识别的交互设备。

技术实现思路

1、本发明的目的在于提供一种便捷、低成本的多设备交互手势控制方法及系统。

2、为解决上述技术问题，本发明提供一种多设备交互手势控制方法，包括以下步骤：

3、采集使用者手指运动数据；

4、对手指运动数据进行预处理，得到预处理后手指运动数据；

5、将预处理后手指运动数据输入深度学习模型进行识别，得到手势类别；

6、根据手势类别，进行外部设备控制。

7、优选地，采集使用者手指运动数据，具体包括以下步骤：

8、将装有加速度传感器和陀螺仪的指环佩戴在使用者手指上；

9、使用者做出交互手势，通过加速度传感器和陀螺仪采集加速度数据和角速度数据，作为手指运动数据。

10、优选地，所述加速度数据包括x、y、z三个方向上的加速度ax、ay、az，手指的总加速度，手指的速度，手指的位移；

11、所述手指的总加速度为

12、所述手指的速度为

13、所述手指的位移为

14、所述角速度数据包括x、y、z三个方向上的角速度gx,、gy、gz，手指的总角速度，手指的旋转角度；

15、所述手指的总角速度为

16、所述手指的旋转角度为

17、优选地，对手指运动数据进行预处理，得到预处理后手指运动数据，具体包括以下步骤：

18、对手指运动数据进行归一化处理，得到归一化后手指运动数据；

19、对归一化后手指运动数据进行快速傅里叶变换提取频域特征，得到频域特征，作为预处理后手指运动数据。

20、优选地，所述归一化处理的公式如下所示：

21、

22、式中：x为原始手指运动数据；xmin和xmax分别为手指运动数据的最小值和最大值。

23、优选地，所述频域特征包括加速度和角速度的均值、标准差、最大值、最小值和方差。

24、优选地，所述深度学习模型包括卷积神经网络、长短期记忆网络和全连接层；

25、所述卷积神经网络包括3个卷积层，每层包含64个3x3卷积核，激活函数为relu；每个卷积层后使用最大池化层，池化窗口大小为2x2；

26、所述长短期记忆网络包括两层用于捕捉手势的时间依赖性的lstm网络，每层包含50个单元；

27、所述全连接层用于输出手势类别，最终输出层使用softmax激活函数，输出手势类别的概率分布。

28、优选地，所述深度学习模型的损失函数为交叉熵损失函数：

29、

30、其中，yi是真实标签，是预测概率。

31、所述深度学习模型的优化器为adam优化器：

32、

33、其中，θ为模型参数，α为学习率。

34、所述深度学习模型的学习率为0.001，批量大小为32，训练轮数为50。

35、本发明还一种多设备交互手势控制系统，包括：

36、传感器，用于采集使用者手指运动数据；

37、预处理模块，用于对手指运动数据进行预处理，得到预处理后手指运动数据；

38、识别模块，用于将预处理后手指运动数据输入深度学习模型进行识别，得到手势类别；

39、外部设备控制模块，用于控制根据手势类别，进行外部设备控制。

40、本发明还提供一种多设备交互手势控制指环，包括：

41、指环主体，其包括相互配合的外环和内环；所述外环和内环之间形成容纳腔；

42、安装板，其安装在容纳腔内；所述安装板为相连的弧形pcba电路板和电池安装板组成的环形结构，所述pcba电路板的直径大于电池安装板的直径，所述pcba电路板外侧与外环内侧抵接，所述电池安装板内侧与内环外侧抵接；

43、检测模块，其包括信号连接的控制单元和传感器；所述控制单元和传感器均安装在pcba电路板上，且位于pcba电路板与内环之间；所述传感器包括加速度传感器和陀螺仪；

44、电源模块，其安装在电池安装板上，且位于电池安装板与外环之间；所述电源模块与pcba电路板相连。

45、与现有技术相比，本发明的有益效果为：

46、本发明相互配合的外环和内环组成的指环主体，外环的外环卡件嵌入内环的内环凹槽中固定，从而形成容纳腔，用于容纳检测模块和聚合物电池。

47、本发明通过的不同直径的pcba电路板和电池安装板组成的环形结构的安装板，将检测模块和聚合物电池紧密安装在指环主体的pcba电路板和电池安装板上，实现对两者的紧固。

48、本发明通过加速度传感器和陀螺仪检测手指的运动，作为用户的手势动作，实现对外部设备的控制。

技术特征：

1.一种多设备交互手势控制方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的多设备交互手势控制方法，其特征在于，采集使用者手指运动数据，具体包括以下步骤：

3.根据权利要求2所述的多设备交互手势控制方法，其特征在于：

4.根据权利要求3所述的多设备交互手势控制方法，其特征在于，对手指运动数据进行预处理，得到预处理后手指运动数据，具体包括以下步骤：

5.根据权利要求4所述的多设备交互手势控制方法，其特征在于：

6.根据权利要求1所述的多设备交互手势控制方法，其特征在于：

7.根据权利要求6所述的多设备交互手势控制方法，其特征在于：

8.根据权利要求7所述的多设备交互手势控制方法，其特征在于：

9.一种多设备交互手势控制系统，用于实现如权利要求1-8任一所述的多设备交互手势控制方法，其特征在于，包括：

技术总结本发明公开一种多设备交互手势控制方法，属于人机交互技术领域；包括：采集使用者手指运动数据；对手指运动数据进行预处理，得到预处理后手指运动数据；将预处理后手指运动数据输入深度学习模型进行识别，得到手势类别；根据手势类别，进行外部设备控制。本发明还提供一种多设备交互手势控制系统。本发明还提供一种多设备交互手势控制系统，包括指环主体、安装板、检测模块和电源模块。本发明结合了运动传感器和无线通信技术，以实现无缝和直观的用户体验。技术研发人员：金家喆,沈俊潇受保护的技术使用者：深圳市金吉数码科技有限公司技术研发日：技术公布日：2024/9/26