基于显示屏的手势控制方法、装置、设备及存储介质与流程

本技术涉及智能控制，尤其涉及基于显示屏的手势控制方法、装置、设备及存储介质。

背景技术：

1、手势控制显示屏是一种新兴的用户界面技术，是能够通过显示屏上的摄像头对用户的手势动作进行识别，并确定用户的手势动作，并将识别到的手势动作与设定的手势动作与控制指令建立联系，此时需要以识别到的手势动作为标准从控制指令库中进行查找对应的控制指令，具体地过程为现将手势动作识别出来，并将得到的手势动作与控制指令库进行匹配，确定出目标控制指令，这种手势控制方法在进行手势动作指令确定的过程中具有较大的时间延迟，会导致手势动作控制显示屏的延迟感和顿挫感。因此目前亟需一种能够降低手势控制延时的手势控制方法。

2、上述内容仅用于辅助理解本技术的技术方案，并不代表承认上述内容是现有技术。

技术实现思路

1、本技术的主要目的在于提供一种基于显示屏的手势控制方法、装置、设备及存储介质，旨在解决现有技术中手势控制显示屏的延时较高的技术问题。

2、为实现上述目的，本技术提出一种基于显示屏的手势控制方法，所述基于显示屏的手势控制方法包括：

3、获取摄像头采集到的手部图像信息，对所述手部图像信息进行识别，在识别到控制预备手势时，根据所述控制预备手势得到手势控制动作序列；

4、将所述手势控制动作序列中的首个手势控制动作确定为起手姿势，根据所述起手姿势遍历手势控制列表，得到候选手势控制动作序列；

5、将所述手势控制动作序列与所述候选手势控制动作序列匹配，得到匹配结果；

6、在所述匹配结果中对应的候选手势控制动作序列数量为一时，将所述匹配结果对应的候选手势控制动作序列作为目标手势控制动作，并基于所述手势控制动作进行显示屏控制。

7、在一实施例中，所述对所述手部图像信息进行识别，在识别到控制预备手势时，根据所述控制预备手势得到手势控制动作序列的步骤包括：

8、对所述手部图像进行特征识别，确定手部特征区域；

9、根据所述手部特征区域对所述手部图像进行裁剪，得到手部特征图像；

10、对所述手部特征图像进行特征识别，确定手部特征点，根据所述手部特征点确定手部特征序列；

11、对所述手部特征序列与控制预备手势对应的手部特征序列进行匹配，在匹配成功时，将所述手部特征图像确定为控制预备手势；

12、根据所述控制预备手势得到手势控制动作序列。

13、在一实施例中，所述根据所述控制预备手势得到手势控制动作序列的步骤包括：

14、根据所述控制预备手势确定所述手部图像的图像帧；

15、以所述图像帧为当前帧，将所述当前帧的下一图像帧中的手部特征点与所述当前帧中的手部特征点进行比较，确定所述手部特征点的运动特征；

16、将所述当前帧的下一图像帧确定为新的当前帧，并重复所述以所述图像帧为当前帧，将所述当前帧的下一图像帧中的手部特征点与所述当前帧中的手部特征点进行比较，确定所述手部特征点的运动特征的步骤，直至得到手势控制动作序列，所述手势控制动作序列包括多个所述手部特征点的运动特征。

17、在一实施例中，所述将所述手势控制动作序列中的首个手势控制动作确定为起手姿势，根据所述起手姿势遍历手势控制列表，得到候选手势控制动作序列的步骤包括：

18、将所述手势控制动作序列中的首个手势控制动作确定为起手姿势；

19、获取所述起手姿势对应的目标索引码；

20、基于所述目标索引码遍历手势控制列表，确定所述手势控制列表中起手姿势对应的索引码与所述目标索引码相同的手势控制动作序列，将所述手势控制列表中起手姿势对应的索引码与所述目标索引码相同的手势控制动作序列作为候选手势控制动作序列。

21、在一实施例中，所述将所述手势控制动作序列与所述候选手势控制动作序列匹配，得到匹配结果的步骤包括：

22、根据所述手势控制动作序列确定所述手势控制动作的索引码序列；

23、根据所述候选手势控制动作序列确定所述候选手势控制动作的候选索引码序列；

24、将所述索引码序列与所述候选索引码按照索引码位置逐一比对，在比对成功时，得到匹配结果。

25、在一实施例中，所述在所述匹配结果中对应的候选手势控制动作序列数量为一时的步骤之前还包括：

26、对所述匹配结果中对应的候选手势控制动作序列数量进行检测；

27、在所述匹配结果中对应的候选手势控制动作序列数量不为一时，将下一个索引码位置进行比对，并对剩余候选索引码序列的数量进行监测；

28、在所述剩余候选索引码序列的数量不为一时，重复所述将下一个索引码位置进行比对，并对剩余候选索引码序列的数量进行监测的步骤。

29、在一实施例中，所述基于所述手势控制动作进行显示屏控制的步骤包括：

30、根据显示屏的分辨率生成相同大小的映射平面；

31、将所述手势控制动作投影在所述映射平面，确定所述手势控制动作在所述映射平面的映射点；

32、根据所述手势控制动作确定手势控制点，将所述手势控制点投影在所述映射平面，确定所述手势控制点在所述映射平面的映射点；

33、根据所述手势控制动作匹配对应的控制指令，将所述控制指令作用在所述映射平面的映射点上，实现对显示屏进行控制。

34、此外，为实现上述目的，本技术还提出一种基于显示屏的手势控制装置，所述基于显示屏的手势控制装置包括：

35、手势识别模块，用于获取摄像头采集到的手部图像信息，对所述手部图像信息进行识别，在识别到控制预备手势时，根据所述控制预备手势得到手势控制动作序列；

36、手势遍历模块，用于将所述手势控制动作序列中的首个手势控制动作确定为起手姿势，根据所述起手姿势遍历手势控制列表，得到候选手势控制动作序列；

37、手势匹配模块，用于将所述手势控制动作序列与所述候选手势控制动作序列匹配，得到匹配结果；

38、手势控制模块，用于在所述匹配结果中对应的候选手势控制动作序列数量为一时，将所述匹配结果对应的候选手势控制动作序列作为目标手势控制动作，并基于所述手势控制动作进行显示屏控制。

39、此外，为实现上述目的，本技术还提出一种基于显示屏的手势控制设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序配置为实现如上文所述的基于显示屏的手势控制方法的步骤。

40、此外，为实现上述目的，本技术还提出一种存储介质，所述存储介质为计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上文所述的基于显示屏的手势控制方法的步骤。

41、此外，为实现上述目的，本技术还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现如上文所述的基于显示屏的手势控制方法的步骤。

42、本技术提出的一个或多个技术方案，至少具有以下技术效果：获取摄像头采集到的手部图像信息，对所述手部图像信息进行识别，在识别到控制预备手势时，根据所述控制预备手势得到手势控制动作序列，将所述手势控制动作序列中的首个手势控制动作确定为起手姿势，根据所述起手姿势遍历手势控制列表，得到候选手势控制动作序列，将所述手势控制动作序列与所述候选手势控制动作序列匹配，得到匹配结果，在所述匹配结果中对应的候选手势控制动作序列数量为一时，将所述匹配结果对应的候选手势控制动作序列作为目标手势控制动作，并基于所述手势控制动作进行显示屏控制，实现快速响应显示屏的控制手势，进而进行显示屏的手势控制。