人脸面部动作捕捉方法与装置、电子设备与流程

本申请涉及人工智能，具体涉及一种人脸面部动作捕捉方法与装置、电子设备。

背景技术：

1、随着元宇宙相关产业的发展，越来越多的三维视觉、数字孪生等应用相关的技术获得了学术界和工业界的关注。其中，元宇宙中的数字虚拟人物是用户最为关注的领域之一，与之相关的技术和应用在近几年掀起了热潮。由于数字虚拟人物的人脸表情质量是用户最敏感的部分之一，虽然在影视、动画制作领域已经有非常成熟的面部捕捉系统，但是因成本较高而不适合普通用户。

2、传统针对普通用户、单目相机的人脸面部动作捕捉方法，多基于二维人脸关键点的拟合。由于这种方法只考虑了二维关键点信息，缺乏深度信息辅助，因此对于类似鼓嘴、撅嘴等与深度信息强关联的表情效果较差。同时，这种方式因采用拟合而需要预设多种参数，难以找到一套能适用于所有用户的参数设定。对此，寻找一种适用于普通用户的、低成本的且具有较高精度的人脸面部动作捕捉方式，成为亟需解决的问题。

技术实现思路

1、本申请提供了一种人脸面部动作捕捉方法与装置、电子设备，以期望提供一种适用于普通用户的、低成本的且具有较高精度的人脸面部动作捕捉方式。

2、第一方面，为本申请的一种人脸面部动作捕捉方法，包括：

3、获取无监督数据，所述无监督数据包括人脸关键点信息、人脸面部掩膜信息；

4、获取有监督数据，所述有监督数据包括人脸表情信息、人脸位姿信息；

5、根据所述无监督数据的自监督学习和所述有监督数据的强监督学习的结合，对面部动捕模型进行训练，所述面部动捕模型为一个神经网络模型；

6、利用训练完成的所述面部动捕模型进行人脸面部动作捕捉。

7、可见，本申请利用了大量有监督数据和少量无监督数据，结合无监督数据的自监督学习和有监督数据的强监督学习的优势，训练得到了一个用于人脸面部动作捕捉的面部动捕模型，从而通过该面部动捕模型提供适用于普通用户的、低成本的且具有较高精度的人脸面部动作捕捉方式。

8、第二方面，为本申请的一种人脸面部动作捕捉装置，包括：

9、获取单元，用于获取无监督数据，所述无监督数据包括人脸关键点信息、人脸面部掩膜信息；

10、所述获取单元，还用于获取有监督数据，所述有监督数据包括人脸表情信息、人脸位姿信息；

11、训练单元，用于根据所述无监督数据的自监督学习和所述有监督数据的强监督学习的结合，对面部动捕模型进行训练，所述面部动捕模型为一个神经网络模型；

12、动捕单元，用于利用训练完成的所述面部动捕模型进行人脸面部动作捕捉。

13、第三方面，为本申请的一种电子设备，包括处理器、存储器及存储在所述存储器上的计算机程序或指令，所述处理器执行所述计算机程序或指令以实现上述第一方面中所设计的方法中的步骤。

14、第四方面，为本申请的一种计算机可读存储介质，其中，所述计算机可读存储介质上存储有计算机程序或指令，所述计算机程序或指令被处理器执行时以实现上述第一方面中所设计的方法中的步骤。

15、第五方面，为本申请的一种计算机程序产品，包括计算机程序或指令，其中，所述计算机程序或指令被处理器执行时实现上述第一方面中所设计的方法中的步骤。

16、第二方面至第五方面的技术方案所带来的有益效果可以参见第一方面的技术方案所带来的技术效果，此处不再赘述。

技术特征：

1.一种人脸面部动作捕捉方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述根据所述无监督数据的自监督学习和所述有监督数据的强监督学习的结合，对面部动捕模型进行训练，包括如下步骤：

3.根据权利要求1所述的方法，其特征在于，所述面部动捕模型，是从训练完成的目标神经网络架构搜索的超网中搜索得到的；

4.根据权利要求3所述的方法，其特征在于，所述目标神经网络架构搜索的超网的训练，包括如下步骤：

5.根据权利要求1所述的方法，其特征在于，所述获取无监督数据，包括：

6.根据权利要求5所述的方法，其特征在于，所述生成式对抗网络模型的训练，包括如下步骤：

7.根据权利要求1所述的方法，其特征在于，所述获取有监督数据，包括：

8.一种人脸面部动作捕捉装置，其特征在于，包括：

9.一种电子设备，包括处理器、存储器及存储在所述存储器上的计算机程序或指令，其特征在于，所述处理器执行所述计算机程序或指令以实现权利要求1-7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其特征在于，其存储有计算机程序或指令，所述计算机程序或指令被执行时实现权利要求1-7中任一项所述方法的步骤。

技术总结本申请公开了人脸面部动作捕捉方法与装置、电子设备；该方法包括：获取无监督数据，无监督数据包括人脸关键点信息、人脸面部掩膜信息；获取有监督数据，有监督数据包括人脸表情信息、人脸位姿信息；根据无监督数据的自监督学习和有监督数据的强监督学习的结合，对面部动捕模型进行训练，面部动捕模型为一个神经网络模型；利用训练完成的面部动捕模型进行人脸面部动作捕捉。可见，本申请利用了大量有监督数据和少量无监督数据，结合无监督数据的自监督学习和有监督数据的强监督学习的优势，训练得到了一个用于人脸面部动作捕捉的面部动捕模型，从而通过该面部动捕模型提供适用于普通用户的、低成本的且具有较高精度的人脸面部动作捕捉方式。技术研发人员：郭铭,靳亮,袁启虎,徐枫受保护的技术使用者：南京欧珀软件科技有限公司技术研发日：技术公布日：2024/9/2