手势识别方法、装置、存储介质及可穿戴设备与流程

本技术涉及生物信号处理，尤其涉及一种手势识别方法、装置、存储介质及可穿戴设备。

背景技术：

1、肌电图(electromyography，emg)信号是肌肉组织在收缩过程中产生的电生理信号，其反映了肌肉活动水平和神经肌肉功能的状况。目前，很多手势识别系统均采用表面肌电(surface electromyography，semg)信号进行多种微小手势的识别。

2、现有技术中，一般直接通过训练好的手势识别模型对采集到的emg信号进行手势识别，但由于不同用户的身体状况、肌肉力量以及动作习惯等差异，使得相同动作由不同用户做出时，产生的emg信号也各有不同，进而导致训练获得的手势识别模型存在较严重的不可复用性，即在一个用户上训练出的手势识别模型，在其他用户身上难以复用，导致手势识别能力较差。

技术实现思路

1、本技术的主要目的在于提供一种手势识别方法、装置、存储介质及可穿戴设备，旨在解决现有在一个用户上训练出的手势识别模型，在其他用户身上难以复用的技术问题。

2、为实现上述目的，本技术提供一种手势识别方法，所述方法包括：

3、基于获取到的当前用户的历史肌电图信号和不同用户的综合肌电图信号之间的信号相似度，训练得到所述当前用户对应的目标手势识别模型；

4、本次手势识别启动时，对所述当前用户做出的待识别手势进行采集，并对采集结果进行活动段检测，获得当前肌电图信号；

5、基于所述目标手势识别模型对所述当前肌电图信号进行手势识别。

6、在一实施例中，所述基于获取到的当前用户的历史肌电图信号和不同用户的综合肌电图信号之间的信号相似度，训练得到所述当前用户对应的目标手势识别模型的步骤，包括：

7、获取当前用户的历史肌电图信号，并确定所述历史肌电图信号与不同用户的综合肌电图信号之间的信号相似度；

8、基于各所述信号相似度从所述综合肌电图信号中选取所述当前用户对应的标签肌电图信号；

9、通过所述标签肌电图信号和所述历史肌电图信号对初始手势识别模型进行训练，获得所述当前用户对应的目标手势识别模型。

10、在一实施例中，所述通过所述标签肌电图信号和所述历史肌电图信号对初始手势识别模型进行训练，获得所述当前用户对应的目标手势识别模型的步骤，包括：

11、对所述标签肌电图信号进行特征提取，获得源域中间特征向量，并对所述历史肌电图信号进行特征提取，获得目标域中间特征向量；

12、基于所述源域中间特征向量确定源域手势类别概率，并基于所述目标域中间特征向量确定主目标域手势类别概率；

13、根据所述源域中间特征向量、所述目标域中间特征向量、所述源域手势类别概率和所述主目标域手势类别概率构建一轮训练损失函数；

14、通过所述一轮训练损失函数对初始手势识别模型进行训练，获得所述当前用户对应的目标手势识别模型。

15、在一实施例中，所述根据所述源域中间特征向量、所述目标域中间特征向量、所述源域手势类别概率和所述主目标域手势类别概率构建一轮训练损失函数的步骤，包括：

16、根据所述源域中间特征向量和所述目标域中间特征向量构建联合最大均值差异损失函数；

17、通过所述源域手势类别概率构建第一交叉熵损失函数，并通过所述主目标域手势类别概率构建最小类混淆损失函数；

18、基于所述联合最大均值差异损失函数、所述第一交叉熵损失函数和所述最小类混淆损失函数构建一轮训练损失函数。

19、在一实施例中，所述联合最大均值差异损失函数为：

20、

21、其中，s为源域，t为目标域，ljmmd(s,t)为所述联合最大均值差异损失函数，ns为所述源域的数量，nt为所述目标域的数量，k(,)为核函数，为第i个所述源域中间特征向量，为第j个所述源域中间特征向量，为第i个所述目标域中间特征向量，为第j个所述目标域中间特征向量，l为全连接层的个数，l为当前的全连接层。

22、在一实施例中，所述通过所述主目标域手势类别概率构建最小类混淆损失函数的步骤，包括：

23、对所述主目标域手势类别概率进行概率调整，并对调整后的主目标域手势类别概率进行重加权；

24、对重加权后的主目标域手势类别概率进行类关联性减小操作，并基于操作结果构建最小类混淆损失函数。

25、在一实施例中，所述一轮训练损失函数为：

26、loss1＝lce(s)+αljmmd(s,t)+βlmcc(t)；

27、其中，loss1为所述一轮训练损失函数，lce(s)为所述第一交叉熵损失函数，ljmmd(s,t)为所述联合最大均值差异损失函数，lmcc(t)为所述最小类混淆损失函数，α为第一预设权重参数，β为第二预设权重参数。

28、在一实施例中，所述通过所述一轮训练损失函数对初始手势识别模型进行训练，获得所述当前用户对应的目标手势识别模型的步骤，包括：

29、对所述主目标域手势类别概率进行置信度检验，获得目标域伪标签，并基于所述目标域中间特征向量确定辅助目标域手势类别概率；

30、根据所述目标域伪标签和所述辅助目标域手势类别概率构建第二交叉熵损失函数，并将所述第二交叉熵损失函数作为二轮训练损失函数；

31、通过所述一轮训练损失函数对初始手势识别模型进行一轮训练，并通过所述二轮训练损失函数对训练后的初始手势识别模型进行二轮训练，获得所述当前用户对应的目标手势识别模型。

32、在一实施例中，所述二轮训练损失函数为：

33、

34、其中，loss2为所述二轮训练损失函数，t为目标域，lce(t)为所述第二交叉熵损失函数，c为手势类别个数，yt1,i为第i个所述手势类别对应的目标域伪标签，pt2,i为第i个所述手势类别对应的辅助目标域手势类别概率。

35、在一实施例中，所述基于所述目标手势识别模型对所述当前肌电图信号进行手势识别的步骤之后，还包括：

36、基于所述当前肌电图信号对所述当前用户的历史肌电图信号进行更新；

37、根据更新后的历史肌电图信号和所述不同用户的综合肌电图信号之间的信号相似度，对所述目标手势识别模型进行训练；

38、下次手势识别启动时，通过训练后的目标手势识别模型对所述当前用户做出的下一待识别手势进行手势识别。

39、此外，为实现上述目的，本技术还提出一种手势识别装置，所述装置包括：

40、模型训练模块，用于基于获取到的当前用户的历史肌电图信号和不同用户的综合肌电图信号之间的信号相似度，训练得到所述当前用户对应的目标手势识别模型；

41、手势采集模块，用于本次手势识别启动时，对所述当前用户做出的待识别手势进行采集，并对采集结果进行活动段检测，获得当前肌电图信号；

42、手势识别模块，用于基于所述目标手势识别模型对所述当前肌电图信号进行手势识别。

43、此外，为实现上述目的，本技术还提出一种存储介质，所述存储介质上存储有手势识别程序，所述手势识别程序被处理器执行时实现如上文所述的手势识别方法。

44、此外，为实现上述目的，本技术还提出一种可穿戴设备，所述可穿戴设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的手势识别程序，所述手势识别程序被所述处理器执行时实现如上文所述的手势识别方法。

45、本技术提供一种手势识别方法、装置、存储介质及可穿戴设备，该方法包括：基于获取到的当前用户的历史肌电图信号和不同用户的综合肌电图信号之间的信号相似度，训练得到该当前用户对应的目标手势识别模型；本次手势识别启动时，对该当前用户做出的待识别手势进行采集，并对采集结果进行活动段检测，获得当前肌电图信号；基于该目标手势识别模型对该当前肌电图信号进行手势识别。

46、由于本技术可先基于当前用户的历史肌电图信号以及不同用户的综合肌电图信号之间的信号相似度，训练获得该当前用户对应的目标手势识别模型，而后在本次手势识别启动时，对该当前用户做出的待识别手势进行采集以及活动段检测，获得当前肌电图信号，并基于该当前用户对应的目标手势识别模型对当前肌电图信号进行手势识别。相比于现有的在一个用户上训练出的手势识别模型，在其他用户身上难以复用，本技术可根据不同用户的综合肌电图信号与当前用户的历史肌电图信号之间的信号相似度，训练获得该当前用户对应的目标手势识别模型，再通过该目标手势识别模型对当前用户的当前肌电图信号进行手势识别，从而使手势识别模型可在不同用户身上实现复用，提升手势识别能力。