手势识别迭代方法、装置和头戴式电子设备与流程

【】本技术实施例涉及通信，尤其涉及一种手势识别迭代方法、装置和头戴式电子设备。

背景技术

0、背景技术：

1、当前，头戴式电子设备中，可以采用手势交互、手柄交互、眼动追踪进行交互，其中，通过手势交互能够大量传达语义、情感和符合人类日常生活习惯的信息，是人机交互技术的研究重点。

2、相关技术中，采用深度神经网络进行手势识别，鉴于手势识别系统没有迭代功能以及个性化设置功能，因此，手势识别的交互动作是基本固定不变的，换而言之，手势识别系统只能识别例如确认、捏合、放大、缩小等固定动作，同时，用户也无法对识别效果欠佳的手势进行优化。

技术实现思路

0、技术实现要素：

1、本技术实施例提供了一种手势识别迭代方法、装置和头戴式电子设备，以使手势识别系统具备迭代功能以及个性化设置，使得用户可以根据自身需求对手势识别系统个性化设置，提升用户体验感。

2、第一方面，本技术提供了一种手势识别迭代方法，应用于头戴式电子设备，头戴式电子设备搭载有手势识别系统以及手势识别优化系统，手势识别优化系统包括：真值标注模型、数据采集模块以及finetune模型；

3、确定目标标签，采集与目标标签对应的第一手势图像，第一手势图像为用户在当前时刻的不同角度下的手势图像，第一手势图像为用户在当前时刻的不同角度下的手势图像；

4、将数据采集模块采集的第一手势图像输入至真值标注模型以输出手势2d真值、手势3d真值，并利用手势2d真值生成手部预测框，目标图像包括第一手势图像；

5、依据目标图像的手势真值利用finetune模型对手势识别系统进行finetune训练，手势真值包括手势2d真值、手势3d真值以及手部预测框。

6、通过本技术可以利用实时采集的手势真值对手势识别系统进行训练，使得手势识别系统具备迭代功能以及个性化设置功能，提升用户的体验感。

7、在一些实施方式中，第一手势图像通过位于头戴式电子设备的多个相机采集。

8、在一些实施方式中，手势识别系统包括：2d点检测单元、3d点检测单元、手部检测单元以及手势分类单元；

9、2d点检测单元：用于在手势识别过程中确定手势2d点；

10、3d点检测单元：用于在手势识别过程中确定手势3d点；

11、手部检测单元：用于生成在识别过程中生成手部预测框；

12、手势分类单元：用于依据第二手势图像手势2d点、第二手势图像手势3d点以及第二图像手部预测框输出手势识别结果；

13、依据目标图像的手势真值利用finetune模型对手势识别系统进行finetune训练的步骤包括：

14、通过目标图像手势图像对2d点检测单元、3d点检测单元、手部检测单元以及手势分类单元进行finetune微调。

15、在一些实施方式中，将目标图像输入至真值标注模型以输出手势2d真值、手势3d真值的步骤中，

16、真值标注模型设有检测单元以及多相机算法融合单元：

17、将数据采集模块采集的第一手势图像输入至真值标注模型以输出手势2d真值、手势3d真值的步骤包括：

18、将目标图像输入至检测单元，输出目标图像的手部2d关键点及对应的2d关键点置信度；

19、将目标图像的手部2d关键点及对应的2d关键点置信度输入至多相机算法融合单元输出手势2d真值以及手势3d真值。

20、在一些实施方式中，检测单元包括：手部检测子单元和大模型2d检测子单元；

21、手部检测子单元：用于检测目标图像的手部预测框；

22、大模型2d检测子单元：用于依据目标图像的手部预测框输出手部2d关键点及对应的2d关键点置信度。

23、在一些实施方式中，方法还包括：依据目标图像的手势真值对手部检测子单元以及大模型2d检测子单元利用finetine模块进行finetune微调。

24、在一些实施方式中，多相机融合算法单元包括：随机三角化子单元、加权密度子单元、卡尔曼滤波子单元以及多目重投影子单元；

25、将目标图像的手部2d关键点及对应的2d关键点置信度输入至多相机算法融合单元输出手势2d真值以及手势3d真值的步骤包括：

26、将n组手部2d关键点对应的2d关键点置信度输入至随机三角化子单元，随机三角化子单元将n组手部2d关键点两两遍历组合，输出k组手部3d关键点及对应的3d关键点置信度，每两组2d关键点输出一组手部3d关键点及对应的3d关键点置信度；

27、将k组手部3d关键点及对应的关键点置信度输入至加权密度聚类子单元进行加权融合输出最优3d关键点；

28、将最优3d关键点输入至卡尔曼滤波子单元进行滤波输出手势3d真值；

29、将手势3d真值输入至多目重投影子单元，对3d真值在每个角度进行坐标转换及投影以生成手势2d真值。

30、在一些实施方式中，随机三角化子单元采用如下公式计算手部3d关键点深度z轴坐标：

31、d＝ul-ur；

32、fb—相机焦距；

33、ul、ur—手势2d关键点在左右相机上的成像平面坐标；

34、d—视差；

35、z—手部3d关键点深度z轴坐标；

36、b—两组手部2d关键点对应的第一手势图像的相机的基线距离。

37、在一些实施方式中，将k组手部3d关键点及对应的关键点置信度输入至加权密度聚类子单元进行加权融合输出最优3d关键点的步骤包括：

38、利用k组手部3d关键点构建数据集合d；

39、从数据集合d之中选取任一数据对象点p；

40、设置邻域最大半径以及邻域最少点数，依据邻域最大半径、邻域最少点数对以及数据对象点p以及数据集合d进行密度聚类，以得到若干个簇；

41、从若干个簇中选取手部3d关键点最多的组别m，并对m组中所有手部3d关键点进行置信度加权平均以输出最优3d关键点。

42、在一些实施方式中，从若干个簇中选取手部3d关键点最多的组别m，并对m组中所有手部3d关键点进行置信度加权平均以输出最优3d关键点的步骤中，采用如下公式计算最优3d关键点：

43、

44、—第i组别的第j个手部3d关键点坐标；

45、—第i组别的第j个手部3d关键点置信度；

46、—最优3d关键点；

47、n—m组别中手部3d关键点的数量。

48、在一些实施方式中，将手势3d真值输入至多目重投影子单元，对3d真值在每个角度进行坐标转换及投影以生成手势2d真值的步骤中，

49、采用如下公式计算手势2d真值：

50、

51、xw—手势3d真值在空间直角坐标系横坐标；

52、yw—手势3d真值在空间直角坐标系纵坐标；

53、zw—手势3d真值在空间直角坐标系竖坐标；

54、r、t—旋转平移矩阵；

55、k—相机内参矩阵；

56、m—相机外参矩阵；

57、ax、ay、μ0、v0—相机内参相关参数；

58、u—手势2d真值横坐标；

59、v—手势2d真值纵坐标。

60、在一些实施方式中，，目标图像还包括云端图像，方法还包括，将采集的第一手势图像上传至云端，目标标签为存在于手势识别系统中的任一标签。

61、在一些实施方式中，目标标签为用户自定义标签或存在于手势识别系统中的任一标签；

62、若目标标签为自定义标签，方法还包括：对目标标签进行定义。

63、第二方面，本技术提供了一种手势识别迭代装置，应用于头戴式电子设备，头戴式电子设备搭载有手势识别系统以及手势识别优化系统，手势识别优化系统包括：真值标注模型、数据采集模块以及finetune模型，包括：

64、采集模块：用于响应于优化指令，确定目标标签，采集与目标标签对应的第一手势图像，第一手势图像为用户在当前时刻的不同角度下的手势图像；

65、计算模块：用于将数据采集模块采集的第一手势图像输入至真值标注模型以输出手势2d真值、手势3d真值，并利用手势2d真值生成手部预测框，目标图像包括第一手势图像；

66、训练模块：用于依据目标标签、目标图像的手势真值利用finetune模型对手势识别系统进行finetune训练，手势真值包括手势2d真值、手势3d真值以及手部预测框。

67、第三方面，本技术提供了一种头戴式电子设备，包括：

68、至少一个处理器；以及与处理器通信连接的至少一个存储器，其中：

69、存储器存储有可被处理器执行的程序指令，处理器调用程序指令能够执行如第一方面的方法。

70、第四方面，本技术提供了一种计算机可读存储介质，计算机可读存储介质存储计算机指令，计算机指令使计算机执行如第一方面任一的方法。

71、应当理解的是，本技术实施例的第二～第四方面与本技术实施例的第一方面的技术方案一致，各方面及对应的可行实施方式所取得的有益效果相似，不再赘述。