手势识别方法、装置、存储介质及可穿戴设备与流程

本技术涉及生物信号处理，尤其涉及一种手势识别方法、装置、存储介质及可穿戴设备。

背景技术：

1、手势识别是实现人机交互的重要途径，目前很多方式如肌电图(electromyography，emg)、惯性测量单元(inertial measurement unit，imu)、光电容积脉搏图(photoplethysmogram，ppg)以及超声波等均可实现手势识别。现有的可穿戴设备(例如腕带设备)大多采用emg或imu实现，即通过腕带处的emg电极采集emg数据或imu传感器采集imu数据后，通过部署在设备内部的手势识别模型进行分析，输出手势识别结果。

2、但在对手势识别模型进行校准时，由于采集到的emg数据或imu数据为低维度的手势数据，因此需使用深度学习算法实现，即通过深度学习算法对手势识别模型进行校准。然而深度学习算法存在较大的运算量以及较长的训练时间，对硬件设备的精度以及性能较高，目前的可穿戴设备的算力很难支持其直接在内部的芯片或现场可编程门阵列(field-programmable gate array，fpga)等硬件上进行校准训练。因此目前一般方式为将采集到的emg数据或imu数据上传至云端服务器，再由云端服务器通过深度学习算法对手势识别模型进行校准后返回校准后的模型参数至可穿戴设备中，进而导致校准耗时较长。

技术实现思路

1、本技术的主要目的在于提供一种手势识别方法、装置、存储介质及可穿戴设备，旨在解决现有的在对手势识别模型进行校准时，由于所使用的为低维度的手势数据，进而需要将该手势数据上传至云端服务器进行校准，导致校准耗时较长的技术问题。

2、为实现上述目的，本技术实施例提供一种手势识别方法，所述方法包括：

3、对用户做出的待校准手势进行采集，获得校准手势数据；

4、对所述校准手势数据进行升维操作，获得校准动作超向量；

5、基于所述校准动作超向量对预设动作类别进行校准，并基于校准后的预设动作类别对所述用户做出的待识别手势进行手势识别。

6、在一实施例中，所述对所述校准手势数据进行升维操作，获得校准动作超向量的步骤，包括：

7、选取本次手势识别所使用的实体，所述实体包括传感器组或电极组中至少一项以及信号幅值；

8、确定所述校准手势数据中对应所述实体的实体信息，所述实体信息包括实体标签信息以及幅值信号序列信息；

9、通过空间编码和时间编码对所述实体信息进行升维操作，获得待校准动作超向量。

10、在一实施例中，所述方法还包括：

11、所述实体的实体类型包括第一实体类型以及第二实体类型；

12、在所述实体为所述第一实体类型时，所述实体的实体信息对应的超向量之间拟正交，所述实体包括所述传感器组和所述电极组；

13、在所述实体为所述第二实体类型时，所述实体的实体信息对应的超向量之间具有相似性，所述实体包括所述电极组和所述信号幅值。

14、在一实施例中，所述通过空间编码和时间编码对所述实体信息进行升维操作，获得待校准动作超向量的步骤，包括：

15、通过第一预设映射关系确定各所述实体标签信息对应的实体标签超向量；

16、基于预设分箱规则分别对各所述幅值信号序列信息中的信号幅值进行分箱，并通过第二预设映射关系确定各分箱后的信号幅值对应的幅值信号序列超向量；

17、将各所述实体标签超向量和对应的所述幅值信号序列超向量进行绑定，获得所述实体信息在各时刻下的绑定超向量；

18、对各所述绑定超向量进行叠加，获得各时刻下的实体信息超向量，并对所述各时刻下的实体信息超向量进行时间编码，获得校准动作超向量。

19、在一实施例中，所述对用户做出的待校准手势进行采集，获得校准手势数据的步骤之前，还包括：

20、判断各实体的实体类型；

21、在所述实体类型为第一实体类型时，对所述实体按照预设超向量维度进行定义，获得所述实体对应的实体标签超向量；

22、获取所述实体对应的实体标签信息，并基于所述实体标签信息和所述对应的实体标签超向量构建第一预设映射关系。

23、在一实施例中，所述判断各实体的实体类型的步骤之后，还包括：

24、在所述实体类型为第二实体类型且所述实体为电极组时，从所述实体中选取子实体；

25、对所述子实体按照所述预设超向量维度进行定义，获得所述子实体对应的实体标签超向量；

26、对所述子实体对应的实体标签超向量进行翻转，并将翻转结果作为所述实体对应的实体标签超向量。

27、在一实施例中，所述判断各实体的实体类型的步骤之后，还包括：

28、在所述实体类型为第二实体类型且所述实体为信号幅值时，对所述实体进行放缩，并对放缩后的实体按照预设分箱规则进行分箱；

29、基于各分箱结果确定目标箱，并按照预设向量维度对所述目标箱进行定义，获得所述目标箱对应的幅值信号序列超向量；

30、对所述目标箱对应的幅值信号序列超向量进行翻转，获得各所述分箱结果对应的幅值信号序列超向量；

31、获取各所述分箱结果对应的分箱后的信号幅值，并根据各所述分箱后的信号幅值和所述对应的幅值信号序列超向量构建第二预设映射关系。

32、在一实施例中，所述对所述各时刻下的实体信息超向量进行时间编码，获得校准动作超向量的步骤，包括：

33、确定当前时刻下的历史实体信息超向量，并对所述历史实体信息超向量进行排列；

34、将排列结果和所述当前时刻下的实体信息超向量进行叠加，获得校准动作超向量。

35、在一实施例中，所述基于所述校准动作超向量对预设动作类别进行校准，并基于校准后的预设动作类别对所述用户做出的待识别手势进行手势识别的步骤，包括：

36、获取所述预设动作类别对应的类别超向量，并判断所述校准动作超向量与所述类别超向量之间的校准相似度是否高于预设校准相似度阈值；

37、若是，则通过所述校准动作超向量对所述类别超向量进行叠加校准，并基于校准后的类别超向量对所述用户做出的待识别手势进行手势识别。

38、在一实施例中，所述方法还包括：

39、在所述校准动作超向量与所述类别超向量之间的校准相似度不高于预设校准相似度阈值时，通过所述校准动作超向量对所述类别超向量进行替换校准，并基于校准后的类别超向量对所述用户做出的待识别手势进行手势识别。

40、在一实施例中，所述基于校准后的预设动作类别对所述用户做出的待识别手势进行手势识别的步骤，包括：

41、对所述用户做出的待识别手势进行采集，获得待识别手势数据；

42、对所述待识别手势数据进行升维操作，获得待识别动作超向量；

43、确定所述待识别动作超向量与各所述校准后的类别超向量之间的识别相似度；

44、基于各所述识别相似度对所述待识别手势进行手势识别。

45、在一实施例中，所述对用户做出的待校准手势进行采集，获得校准手势数据的步骤之前，还包括：

46、按照预设动作类别对用户做出的预设手势进行采集，获得预设手势数据；

47、对所述预设手势数据进行升维操作，获得所述预设动作类别对应的类别超向量。

48、在一实施例中，所述对所述预设手势数据进行升维操作，获得所述预设动作类别对应的类别超向量的步骤，包括：

49、对所述预设手势数据进行预处理操作，所述预处理操作包括数据清洗、数据标准化以及数据增强中至少一项；

50、对预处理后的预设手势数据进行升维操作，获得所述预设动作类别对应的类别超向量。

51、在一实施例中，所述基于校准后的预设动作类别对所述用户做出的待识别手势进行手势识别的步骤之后，还包括：

52、对用户做出的新增手势进行采集，获得新增手势数据；

53、对所述新增手势数据进行升维操作，获得新增动作超向量；

54、通过所述新增动作超向量对所述校准后的类别超向量进行更新，并通过更新后的类别超向量对所述用户做出的待识别手势进行手势识别。

55、在一实施例中，所述通过所述新增动作超向量对所述校准后的类别超向量进行更新的步骤，包括：

56、判断所述新增动作超向量与所述校准后的类别超向量之间的新增相似度是否高于预设新增相似度阈值；

57、若否，则通过所述新增动作超向量对所述校准后的类别超向量进行更新。

58、此外，为实现上述目的，本技术实施例还提出一种手势识别装置，所述装置包括：

59、手势采集模块，用于对用户做出的待校准手势进行采集，获得校准手势数据；

60、数据升维模块，用于对所述校准手势数据进行升维操作，获得校准动作超向量；

61、手势识别模块，用于基于所述校准动作超向量对预设动作类别进行校准，并基于校准后的预设动作类别对所述用户做出的待识别手势进行手势识别。

62、此外，为实现上述目的，本技术实施例还提出一种存储介质，所述存储介质上存储有手势识别程序，所述手势识别程序被处理器执行时实现如上文所述的手势识别方法。

63、此外，为实现上述目的，本技术实施例还提出一种可穿戴设备，所述可穿戴设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的手势识别程序，所述手势识别程序被所述处理器执行时实现如上文所述的手势识别方法。

64、本技术实施例提供一种手势识别方法、装置、存储介质及可穿戴设备，该方法包括：对用户做出的待校准手势进行采集，获得校准手势数据；对所述校准手势数据进行升维操作，获得校准动作超向量；基于所述校准动作超向量对预设动作类别进行校准，并基于校准后的预设动作类别对所述用户做出的待识别手势进行手势识别。

65、由于本技术在校准时可先对用户做出的待校准手势进行采集，获得校准手势数据，再对该校准手势数据进行升维操作，获得校准动作超向量，接着即可基于该校准动作超向量对预设动作类别进行校准，并通过校准后的预设动作类别对用户做出的待识别手势进行手势识别。相比于现有的将低维度的手势数据上传至云端服务器进行校准，本技术可先对校准手势数据进行升维操作，获得校准动作超向量，进而可直接在本地基于校准动作超向量进行校准，无需上传至服务器，从而减少了校准耗时。