胳膊上臂动作捕捉方法、系统及存储介质与流程

本发明涉及人工智能，尤其涉及一种胳膊上臂动作捕捉方法、系统及存储介质。

背景技术：

1、伴随着元宇宙技术的发展，虚拟直播也变得日益盛行起来。直播行业由最初的2d虚拟直播发展到现在的3d虚拟直播，由传统的二维卡片人发展到现在的三维虚拟人，其3d动作驱动方式也经历着基于摄像头的简易平面动捕(2d动捕)到定制化的动捕服动捕(3d动捕)的演变。

2、通过2d动捕进行虚拟直播，能够让人看到简易的二维形象，其成本低、易普及，在元宇宙发展初期，能够满足大众的审美需求，但随着web3.0、元宇宙时代的到来，2d动捕的缺点也日益显露，如风格都偏向卡通类型、虚拟形象运动大多都是基于平面的位移。

3、通过定制化的动捕服3d动捕进行虚拟直播，能够让人看到逼真的3维形象，其受欢迎程度广、市场前景广，符合大众日益增长的审美需求，但相比较与2d动捕的易普及性而言，通过动捕服进行3d动捕虚拟直播的缺点也就更加明显，需要定制化三维形象以及购买专业的动捕服，总体成本较高，不易普及。

4、对此，我们借鉴2d动捕的思想，通过摄像头去对胳膊上臂动作进行三维动捕，代替动捕服的方式驱动虚拟人物，进行三维场景下的虚拟直播，满足元宇宙场景下日益丰富的虚拟直播需求。

技术实现思路

1、本发明的目的在于提供一种胳膊上臂动作捕捉方法、系统及存储介质，能够在不使用动捕服的情况下对胳膊上臂的3d动作精准捕捉。

2、为了实现上述目的，本发明的第一方面提供一种胳膊上臂动作捕捉方法，包括：

3、采集胳膊上臂目标关键点的三维世界坐标；

4、将所述目标关键点的三维世界坐标转换，得到所述目标关键点的平面坐标；

5、基于所述目标关键点的平面坐标计算z轴动捕数据，基于所述三维世界坐标计算x轴动捕数据。

6、优选地，在采集胳膊上臂目标关键点的三维世界坐标之前还包括：

7、通过相机采集胳膊上臂的图像；

8、基于所述胳膊上臂的图像构建三维世界坐标系。

9、较佳地，采集胳膊上臂目标关键点的三维世界坐标的方法包括：

10、采用mediapipe识别图像中胳膊上臂的目标关键点，并根据所述三维世界坐标系和图像尺寸得到所述目标关键点的三维世界坐标。

11、示例性地，所述目标关键点包括胯骨点、上臂点、胳膊肘点。

12、进一步地，将所述目标关键点的三维世界坐标转换，得到所述目标关键点的平面坐标的方法包括：

13、构建坐标转换公式，所述转换公式为将三维世界坐标中的z轴坐标作为平面坐标系中的x轴坐标，将三维世界坐标中的y轴坐标作为平面坐标系中的y轴坐标；

14、基于所述转换公式完成所述目标关键点在三维世界坐标向平面坐标的转换。

15、较佳地，基于所述目标关键点的平面坐标计算z轴动捕数据的方法包括：

16、对应标定胯骨点、上臂点、胳膊肘点的平面坐标为p1点、p2点和p3点；

17、依次连线p1点、p2点和p3点，构建虚拟三角形；

18、基于p2点和p3点的平面坐标计算p2点至p3点的向量距离a，基于p1点和p3点的平面坐标计算p1点至p3点的向量距离b，基于p1点和p2点的平面坐标计算p1点至p2点的向量距离c；

19、根据a、b、c及弧度计算公式求p1点、p2点和p3点形成的弧度d，再将弧度d转换为z轴旋转角度。

20、较佳地，其特征在于基于所述三维世界坐标计算x轴动捕数据的方法包括：

21、对应标定胯骨点、上臂点、胳膊肘点的三维世界坐标为p1点、p2点和p3点；

22、依次连线p1点、p2点和p3点，构建虚拟三角形；

23、基于p2点和p3点的三维世界坐标计算p2点至p3点的向量距离a，基于p1点和p3点的三维世界坐标计算p1点至p3点的向量距离b，基于p1点和p2点的三维世界坐标计算p1点至p2点的向量距离c；

24、根据a、b、c及弧度计算公式求p1点、p2点和p3点弧度d，再将弧度d转换为x轴旋转角度。

25、优选地，所述胳膊上臂动作捕捉方法用于虚拟直播。

26、与现有技术相比，本发明提供的一种胳膊上臂动作捕捉方法具有以下有益效果：

27、本发明提供的一种胳膊上臂动作捕捉方法，首先采集胳膊上臂的动作图像，识别出胳膊上臂的目标关键点，并定位出胳膊上臂目标关键点的三维世界坐标，然后将目标关键点的三维世界坐标进行坐标转换，得到上述目标关键点的平面坐标，最后基于上述目标关键点的平面坐标计算胳膊上臂的z轴动捕数据，以及基于上述三维世界坐标计算胳膊上臂的x轴动捕数据，输出驱动数据。

28、可见，相比较于现有技术通过定制动捕服来实现胳膊上臂动作捕捉的方案而言，本发明直接通过相机采集人体胳膊上臂目标关键点的方法，精准地实现了对胳膊上臂动作的实时捕捉，有效降低了设备成本并增强了该动捕设备的适用性，最后，再根据算法生成可以驱动胳膊上臂模仿主播胳膊上臂动作的驱动数据，以达到利用虚拟人物进行直播的目的。

29、本发明的第二方面提供一种胳膊上臂动作捕捉系统，应用于上述技术方案所述的胳膊上臂动作捕捉方法中，所述系统包括：

30、采集单元，用于采集胳膊上臂目标关键点的三维世界坐标；

31、处理单元，用于将所述目标关键点的三维世界坐标转换，得到所述目标关键点的平面坐标；

32、计算单元，用于基于所述目标关键点的平面坐标计算z轴动捕数据，基于所述三维世界坐标计算x轴动捕数据。

33、优选地，所述目标关键点包括胯骨点、上臂点、胳膊肘点。

34、与现有技术相比，本发明提供的胳膊上臂动作捕捉系统的有益效果与上述技术方案提供的胳膊上臂动作捕捉方法的有益效果相同，在此不做赘述。

35、本发明的第三方面提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述胳膊上臂动作捕捉方法的步骤。

36、与现有技术相比，本发明提供的计算机可读存储介质的有益效果与上述技术方案提供的胳膊上臂动作捕捉方法的有益效果相同，在此不做赘述。

技术特征：

1.一种胳膊上臂动作捕捉方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，在采集胳膊上臂目标关键点的三维世界坐标之前还包括：

3.根据权利要求1或2所述的方法，其特征在于，采集胳膊上臂目标关键点的三维世界坐标的方法包括：

4.根据权利要求1所述的方法，其特征在于，所述目标关键点包括胯骨点、上臂点、胳膊肘点。

5.根据权利要求4所述的方法，其特征在于，将所述目标关键点的三维世界坐标转换，得到所述目标关键点的平面坐标的方法包括：

6.根据权利要求4所述的方法，其特征在于，基于所述目标关键点的平面坐标计算z轴动捕数据的方法包括：

7.根据权利要求4所述的方法，其特征在于，基于所述三维世界坐标计算x轴动捕数据的方法包括：

8.一种胳膊上臂动作捕捉系统，其特征在于，包括：

9.根据权利要求8所述的系统，其特征在于，所述目标关键点包括胯骨点、上臂点、胳膊肘点。

10.一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，其特征在于，计算机程序被处理器运行时执行上述权利要求1至7任一项所述方法的步骤。

技术总结本发明公开一种胳膊上臂动作捕捉方法、系统及存储介质，涉及人工智能技术领域，能够在不使用动捕服的情况下对胳膊上臂的3D动作精准捕捉。该方法包括：采集胳膊上臂目标关键点的三维世界坐标；将所述目标关键点的三维世界坐标转换，得到所述目标关键点的平面坐标；基于所述目标关键点的平面坐标计算Z轴动捕数据，基于所述三维世界坐标计算X轴动捕数据。该系统应用有上述方案所提的方法。技术研发人员：龚有三,章友德,李嘉懿,贺同路,任永亮受保护的技术使用者：北京愈心科技有限公司技术研发日：技术公布日：2024/11/18