步态识别模型训练方法、人体步态识别方法及相关装置与流程

本发明涉及人工智能，具体而言，涉及一种步态识别模型训练方法、人体步态识别方法及相关装置。

背景技术：

1、步态识别是指将行人正常行走的姿态作为身份特征进行认证的技术，其与人脸、指纹、虹膜识别都属于生物特征识别技术。在现有技术中，通常是分别采用人体参数建模方法和人体外观分割算法，来分别得到人体参数和人体分割结果，再结合这两种信息进行步态识别。但是这种方式的计算量大，处理时间长，并且会占用大量的运算资源和存储空间。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种步态识别模型训练方法、人体步态识别方法及相关装置。

2、为了实现上述目的，本发明采用的技术方案如下：

3、第一方面，本发明提供一种步态识别模型训练方法，所述步态识别模型训练方法包括：

4、获取多个图像样本，并基于每个所述图像样本中的人体生成每个所述图像样本的人体分割标记图和人体参数标记信息；

5、对于每个所述图像样本，利用步态识别模型中的主干网络，对所述图像样本进行多层次特征提取获得对应的特征图；

6、利用所述步态识别模型中的人体分割分支网络，对所述特征图进行卷积降维操作和上采样操作，获得所述图像样本的人体分割预测图，所述人体分割预测图与所述图像样本的尺寸相同；

7、利用所述步态识别模型中的人体参数分支网络基于所述特征图获得对应的参数估计结果，并利用预设的蒙皮多人线性模型基于所述参数估计结果获得所述图像样本的人体参数预测信息；

8、根据预设的损失函数、每个所述图像样本的人体分割标记图和人体参数标记信息、每个所述图像样本的人体分割预测图和人体参数预测信息，对所述步态识别模型进行训练，得到训练后的步态识别模型。

9、在可选的实施方式中，所述基于每个所述图像样本中的人体生成每个所述图像样本的人体分割标记图和人体参数标记信息的步骤，包括：

10、对于每个所述图像样本，利用预设的人体分割算法，对所述图像样本中的人体进行分割，获得所述图像样本的人体分割标记图；

11、利用预设的人体二维关键点检测模型，对所述图像样本中的人体进行二维关键点检测，获得所述图像样本的多个人体二维关键点标记值；

12、计算所述图像样本的全部人体二维关键点标记值的均值，得到所述图像样本的人体中心标记值；

13、利用预设的人体三维重建模型，基于所述图像样本及其全部人体二维关键点标记值，获得所述图像样本的人体姿态标记向量；

14、利用预设的蒙皮多人线性模型，基于所述图像样本的人体姿态标记向量，获得所述图像样本的多个人体三维关键点标记值，得到所述图像样本的人体参数标记信息，所述人体参数标记信息包括人体中心标记值、人体姿态标记向量、多个人体二维关键点标记值和多个人体三维关键点标记值；

15、遍历每个图像样本，得到每个所述图像样本的人体分割标记图和人体参数标记信息。

16、在可选的实施方式中，所述利用所述步态识别模型中的人体参数分支网络基于所述特征图获得对应的参数估计结果，并利用预设的蒙皮多人线性模型基于所述参数估计结果获得所述图像样本的人体参数预测信息的步骤，包括：

17、利用所述步态识别模型中的人体参数分支网络，基于所述特征图进行参数估计操作，获得所述图像样本对应的人体中心预测矩阵、相机参数预测矩阵以及人体姿态预测矩阵，得到所述图像样本对应的参数估计结果；

18、基于所述人体中心预测矩阵中的全部预测概率，获取最大预测概率的位置，得到所述图像样本的人体中心预测值；

19、基于所述相机参数预测矩阵中的全部相机参数向量，选取与所述最大预测概率对应的相机参数向量，得到目标相机参数向量；

20、基于所述人体姿态预测矩阵中的全部姿态向量，选取与所述最大预测概率对应的姿态向量获得初始姿态向量，并对所述初始姿态向量进行维度转换，得到所述图像样本的人体姿态预测向量；

21、利用预设的蒙皮多人线性模型，基于所述图像样本的人体姿态预测向量，获得所述图像样本的多个人体三维关键点预测值；

22、基于所述目标相机参数向量和所述图像样本的全部人体三维关键点预测值，计算所述图像样本的多个人体二维关键点预测值，得到所述图像样本的人体参数预测信息，所述人体参数预测信息包括人体中心预测值、人体姿态预测向量、多个人体二维关键点预测值和多个人体三维关键点预测值。

23、在可选的实施方式中，所述人体参数分支网络包括人体中心预测层、相机参数预测层和人体姿态预测层；

24、所述利用所述步态识别模型中的人体参数分支网络，基于所述特征图进行参数估计操作，获得所述图像样本对应的人体中心预测矩阵、相机参数预测矩阵以及人体姿态预测矩阵的步骤，包括：

25、利用所述人体中心预测层，基于所述特征图进行人体中心估计操作，获得所述图像样本对应的人体中心预测矩阵；

26、利用所述相机参数预测层，基于所述特征图进行相机参数估计操作，获得所述图像样本对应的相机参数预测矩阵；

27、利用所述人体姿态预测层，基于所述特征图进行人体姿态估计操作，获得所述图像样本对应的人体姿态预测矩阵。

28、在可选的实施方式中，所述预设的损失函数为：

29、loss＝segloss+0.5*(1.6focalloss+paramloss+5*3dloss+10*2dloss)；

30、其中，loss表示预设的损失函数，segloss表示人体分割损失函数，focalloss表示人体中心损失函数，paramloss表示人体姿态损失函数，3dloss表示人体三维关键点损失函数，2dloss表示人体二维关键点损失函数；

31、

32、其中，segloss表示所述人体分割损失函数，ki表示所述图像样本的人体分割标记图中第i个像素点的像素值，k’i表示所述图像样本的人体分割预测图中第i个像素点表示人体的概率值，k表示所述图像样本的像素点总数；

33、

34、当yi＝1时，f(pi)＝(1-pi)2*log(pi)；

35、当yi＝0时，f(pi)＝(pi)2*log(1-pi)；

36、其中，focalloss表示所述人体中心损失函数，pi表示所述图像样本对应的人体中心预测矩阵中的第i个预测概率，yi表示基于所述图像样本的人体中心标记值生成的掩码矩阵中的第i个元素，p表示所述人体中心预测矩阵或者所述掩码矩阵的元素总数；

37、

38、其中，paramloss表示所述人体姿态损失函数，w’i表示所述图像样本的人体姿态预测向量中的第i个元素，wi表示所述图像样本的人体姿态标记向量中的第i个元素；w2表示所述人体姿态预测向量或者所述人体姿态标记向量的元素总数；w1表示所述人体姿态预测向量或者所述人体姿态标记向量中用于表示人体位姿的元素总数，w2-w1表示所述人体姿态预测向量或者所述人体姿态标记向量中用于表示人体形态的元素总数；

39、

40、其中，3dloss表示所述人体三维关键点损失函数，g′i表示所述图像样本的第i个人体三维关键点预测值，gi表示所述图像样本的第i个人体三维关键点标记值，g表示所述图像样本的人体三维关键点预测值或者人体三维关键点标记值的总数；

41、

42、其中，2dloss表示所述人体二维关键点损失函数，h’i表示所述图像样本的第i个人体二维关键点预测值，hi表示所述图像样本的第i个人体二维关键点标记值；h表示所述图像样本的人体二维关键点预测值或者人体二维关键点标记值的总数。

43、第二方面，本发明提供一种人体步态识别方法，所述人体步态识别方法包括：

44、获取包含人体的目标图像；

45、利用预训练的步态识别模型中的主干网络，对所述目标图像进行多层次特征提取获得目标特征图；

46、利用预训练的步态识别模型中的人体分割分支网络，对所述目标特征图进行卷积降维操作和上采样操作，获得目标人体分割预测图，所述目标人体分割预测图与所述目标图像的尺寸相同；

47、利用预训练的步态识别模型中的人体参数分支网络基于所述目标特征图获得目标参数估计结果，并利用预设的蒙皮多人线性模型基于所述目标参数估计结果获得目标人体参数预测信息和目标人体蒙皮数据；

48、将所述目标人体分割预测图、所述目标人体参数预测信息以及所述目标人体蒙皮数据，作为所述目标图像的人体步态识别结果；

49、其中，所述预训练的步态识别模型是根据前述实施方式中任一项所述的步态识别模型训练方法得到的。

50、第三方面，本发明提供一种步态识别模型训练装置，所述步态识别模型训练装置包括：

51、标记模块，用于获取多个图像样本，并基于每个所述图像样本中的人体生成每个所述图像样本的人体分割标记图和人体参数标记信息；

52、训练模块，用于对于每个所述图像样本，利用步态识别模型中的主干网络，对所述图像样本进行多层次特征提取获得对应的特征图；

53、利用所述步态识别模型中的人体分割分支网络，对所述特征图进行卷积降维操作和上采样操作，获得所述图像样本的人体分割预测图，所述人体分割预测图与所述图像样本的尺寸相同；

54、利用所述步态识别模型中的人体参数分支网络基于所述特征图获得对应的参数估计结果，并利用预设的蒙皮多人线性模型基于所述参数估计结果获得所述图像样本的人体参数预测信息；

55、根据预设的损失函数、每个所述图像样本的人体分割标记图和人体参数标记信息、每个所述图像样本的人体分割预测图和人体参数预测信息，对所述步态识别模型进行训练，得到训练后的步态识别模型。

56、第四方面，本发明提供一种人体步态识别装置，所述人体步态识别装置包括：

57、获取模块，用于获取包含人体的目标图像；

58、识别模块，用于利用预训练的步态识别模型中的主干网络，对所述目标图像进行多层次特征提取获得目标特征图；

59、利用预训练的步态识别模型中的人体分割分支网络，对所述目标特征图进行卷积降维操作和上采样操作，获得目标人体分割预测图，所述目标人体分割预测图与所述目标图像的尺寸相同；

60、利用预训练的步态识别模型中的人体参数分支网络基于所述目标特征图获得目标参数估计结果，并利用预设的蒙皮多人线性模型基于所述目标参数估计结果获得目标人体参数预测信息和目标人体蒙皮数据；

61、将所述目标人体分割预测图、所述目标人体参数预测信息以及所述目标人体蒙皮数据，作为所述目标图像的人体步态识别结果；

62、其中，所述预训练的步态识别模型是根据前述实施方式中任一项所述的步态识别模型训练方法得到的。

63、第五方面，本发明提供一种电子设备，包括处理器和存储器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时，实现前述实施方式中任一项所述的步态识别模型训练方法，和/或，前述实施方式所述的人体步态识别方法。

64、第六方面，本发明提供一种存储介质，所述存储介质上存储有计算机程序，该计算机程序被处理器执行时，实现前述实施方式中任一项所述的步态识别模型训练方法，和/或，前述实施方式所述的人体步态识别方法。

65、本发明提供的步态识别模型训练方法、人体步态识别方法及相关装置，该方法包括：首先基于每个图像样本中的人体生成每个图像样本的人体分割标记图和人体参数标记信息；然后利用步态识别模型中的主干网络对图像样本进行多层次特征提取获得特征图；接着利用步态识别模型中的人体分割分支网络，对特征图进行卷积降维操作和上采样操作，获得与图像样本尺寸相同的人体分割预测图，同时利用步态识别模型中的人体参数分支网络基于特征图获得参数估计结果，并利用预设的蒙皮多人线性模型基于参数估计结果获得图像样本的人体参数预测信息；最后根据损失函数、每个图像样本的人体分割标记图及人体分割预测图、人体参数标记信息及人体参数预测信息对步态识别模型进行训练。通过两个分支网络共享主干网络输出的特征图，来同时进行人体分割和人体参数估计，从而缩短了模型的推算时间，提高了模型进行步态识别的效率，并节省了运算资源和存储空间。

66、为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。