一种人体3D关键点检测方法以及相关设备与流程

本发明涉及关键点检测领域，尤其涉及一种人体3d关键点检测方法以及相关设备。

背景技术：

1、目前人体3d关键点检测方案均基于腰部中心作为根结点进行偏移量的预测，由于所有关节的运动呈现效果均基于根结点的位移变化，在根结点位置检测发生偏移的情况下易导致人物驱动显得漂浮不定，导致人物缺少着地感。

技术实现思路

1、为了解决现有技术中的至少一个技术问题，本公开提供了一种人体3d关键点检测方法以及相关设备，提升人物着地感。

2、根据本公开的第一方面，提供了一种人体3d关键点检测方法，包括：

3、检测视频帧中的人体3d关键点，以获得第一人体关键点序列；

4、识别所述视频帧中人体的触地情况；

5、根据具有相同所述触地情况的连续所述视频帧的触地脚偏移量，修正所述第一人体关键点序列中的人体3d关键点，以获得第二人体关键点序列。

6、可选的，所述根据具有相同所述触地情况的连续所述视频帧的触地脚偏移量，修正所述第一人体关键点序列中的人体3d关键点，包括：

7、根据具有相同所述触地情况的连续所述视频帧的触地脚偏移量，在保证姿态的情况下修正所述第一人体关键点序列中的人体3d关键点。

8、可选的，所述识别所述视频帧中人体的触地情况之前，所述方法还包括：

9、检测视频帧中的中心点偏移量，以获得中心点偏移序列；

10、检测视频帧中的触地特征，以获得触地特征序列；

11、所述识别所述视频帧中人体的触地情况，包括：

12、根据所述触地特征序列、所述中心点偏移序列以及所述第一人体关键点序列，识别所述视频帧中的触地情况。

13、可选的，所述方法还包括：

14、检测所述视频帧的人体形状参数和旋转参数，以获得人体形状参数序列以及旋转参数序列；

15、利用smpl人体模型，根据所述人体形状参数序列获取人体初始化姿态；

16、根据所述人体初始化姿态、所述旋转参数序列和所述第二人体关键点序列，获取姿态参数序列；

17、利用smpl人体模型，根据所述姿态参数序列，获取第三人体关键点序列。

18、可选的，所述利用smpl人体模型，根据所述人体形状参数序列获取人体初始化姿态，包括：

19、利用smpl人体模型，根据所述人体形状参数序列的平均化处理结果，获取所述人体初始化姿态。

20、可选的，所述方法还包括：

21、检测所述视频帧的中心点偏移量，以获得中心点偏移序列；

22、根据具有相同所述触地情况的连续所述视频帧的触地脚偏移量，修正所述中心点偏移序列中的中心点偏移量；

23、根据修正的所述中心点偏移序列，叠加目标人体关键点序列的偏移量，所述目标人体关键点序列为所述第三人体关键点序列或所述第二人体关键点序列。

24、根据本公开的第二方面，提供了一种人体3d关键点检测装置，包括：

25、检测模块，用于检测视频帧中的人体3d关键点，以获得第一人体关键点序列；

26、识别模块，用于识别所述视频帧中人体的触地情况，以获得触地识别序列；

27、修正模块，用于根据具有相同所述触地情况的连续所述视频帧的触地脚偏移量，修正所述第一人体关键点序列中的人体3d关键点，以获得第二人体关键点序列。

28、根据本公开的第三方面，提供了一种电子设备，包括：

29、处理器；以及

30、存储程序的存储器，

31、其中，所述程序包括指令，所述指令在由所述处理器执行时使所述处理器执行根据上述中任一项所述的方法。

32、根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使计算机执行根据上述中任一项所述的方法。

33、根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被计算机的处理器执行时用于使所述计算机执行根据上述任一项所述的方法。

34、本申请实施例中提供的一个或多个技术方案，可以根据具有相同触地情况的连续视频帧的触地脚偏移量，修正人体3d关键点，以使得人体3d关键点对应的人更物具有着地感。

技术特征：

1.一种人体3d关键点检测方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述根据具有相同所述触地情况的连续所述视频帧的触地脚偏移量，修正所述第一人体关键点序列中的人体3d关键点，包括：

3.根据权利要求1所述的方法，其特征在于，所述识别所述视频帧中人体的触地情况之前，所述方法还包括：

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

5.根据权利要求4所述的方法，其特征在于，所述利用smpl人体模型，根据所述人体形状参数序列获取人体初始化姿态，包括：

6.根据权利要求4所述的方法，其特征在于，所述方法还包括：

7.一种人体3d关键点检测装置，其特征在于，包括：

8.一种电子设备，其特征在于，包括：

9.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使计算机执行根据权利要求1-6中任一项所述的方法。

10.一种计算机程序产品，其特征在于，包括计算机程序，其中，所述计算机程序在被计算机的处理器执行时用于使所述计算机执行根据权利要求1-6任一项所述的方法。

技术总结本公开提供了一种人体3D关键点检测方法以及相关设备，涉及关键点检测领域。一种人体3D关键点检测方法，包括：检测视频帧中的人体3D关键点，以获得第一人体关键点序列；识别视频帧中人体的触地情况；根据具有相同触地情况的连续视频帧的触地脚偏移量，修正第一人体关键点序列中的人体3D关键点，以获得第二人体关键点序列。实施本公开的技术方案，可以使得人体3D关键点对应的人物更具有着地感。技术研发人员：利啟东受保护的技术使用者：咪咕文化科技有限公司技术研发日：技术公布日：2024/9/9