面部表情捕捉方法、设备、装置、计算机设备及存储介质与流程

本公开涉及图像处理，具体涉及一种面部表情捕捉方法、设备、装置、计算机设备及存储介质。

背景技术：

1、随着虚拟现实技术(vr，virtual reality)的发展，在虚拟社交平台中，用户通过佩戴vr头盔，可以自如地进行社交、上课、创作艺术、玩游戏、为大量玩家表演或是构建新的虚拟世界。在虚拟世界中，面部表情的准确传递可以更好的表达用户的情绪，以增强临场体验感。

2、在现有技术中，用户在佩戴vr头盔后，面部的大部分区域被头盔所遮盖，导致眼睛、眉毛区域从头盔外部不可见，嘴部区域的光线非常暗，且有头盔遮挡造成的阴影，导致外部设置的摄像头无法采集到用户的面部表情，进而无法准确表达出用户的情绪。

技术实现思路

1、有鉴于此，本公开提出了一种面部表情捕捉方法、设备、装置、计算机设备及存储介质，以解决相关技术中由于无法采集到用户的面部表情，导致无法准确表达用户情绪的问题。

2、本公开第一方面实施例提出了一种面部表情捕捉方法，所述方法包括：

3、获取眼部图像和嘴部图像；

4、对所述眼部图像和所述嘴部图像分别进行反畸变校正，得到正畸后的眼部图像和正畸后的嘴部图像；

5、对所述正畸后的眼部图像和所述正畸后的嘴部图像分别进行反变形，得到目标眼部图像和目标嘴部图像；

6、基于预设面部图像、所述目标眼部图像以及所述目标嘴部图像，构建遮罩图像；

7、基于所述遮罩图像，将所述目标眼部图像以及所述目标嘴部图像进行图像融合，得到面部表情图像。

8、本公开实施例中，通过遮罩图像，将所述目标眼部图像以及所述目标嘴部图像进行图像融合，得到面部表情图像，能够采集到vr头盔佩戴者的完整面部表情，进而准确表达出用户情绪。

9、在本公开实施例中，所述眼部图像包括第一眼部图像和第二眼部图像。

10、在本公开实施例中，在对所述眼部图像和所述嘴部图像分别进行反畸变校正之前，所述方法还包括：

11、通过训练好的着色网络模型，对采集到的眼部红外图像进行着色，得到所述眼部图像；所述着色网络模型是基于多个不同面部表情下的眼部单通道图像训练得到的。

12、本公开实施例通过训练好的着色网络模型，对采集到的眼部红外图像进行着色，能够达到将红外图像进行彩色图像复原的目的。

13、在本公开实施例中，对所述眼部图像进行反畸变校正，包括：

14、通过预设标定板确定相机内参，并基于所述相机内参确定所述相机对应的畸变算法；所述相机内参对应的相机是采集所述眼部图像的相机；

15、根据所述畸变算法计算出所述眼部图像上每个像素在未畸变情况下的理论位置；

16、基于所述眼部图像上每个像素的理论位置和所述相机内参，计算出每个像素的正畸后的位置；

17、将所述眼部图像上的每个像素映射到相应像素正畸后的位置上，得到正畸后的眼部图像。

18、本公开实施例，通过眼部图像上每个像素的理论位置和相机内参，计算出每个像素的正畸后的位置；以及将眼部图像上的每个像素映射到相应像素正畸后的位置上，得到正畸后的眼部图像，能够可以显著提高眼部图像的质量，减少由于镜头光学特性引起的图像失真。

19、在本公开实施例中，对所述正畸后的眼部图像进行反变形，包括：

20、在预设全脸图像和所述正畸后的眼部图像上分别进行特征点标记，得到与所述预设全脸图像对应的第一特征组，以及与所述正畸后的眼部图像对应的第二特征组；所述第一特征组中的多个第一特征点与所述第二特征组中的多个第二特征点具有一一对应的关系；

21、基于所述多个第一特征点与所述多个第二特征点的一一对应的关系，对所述正畸后的眼部图像中的每个第二特征点进行位置变换，得到目标眼部图像。

22、本公开实施例通过多个第一特征点与多个第二特征点的一一对应的关系，对正畸后的眼部图像中的每个第二特征点进行位置变换，得到目标眼部图像，能够通过特征点的精确匹配和变换，得到的眼部图像能够更自然地融入全脸图像中，避免了由于位置不准确导致的图像失真或不自然。

23、在本公开实施例中，所述基于所述遮罩图像，将所述目标眼部图像以及所述目标嘴部图像进行图像融合，得到面部表情图像，包括：

24、将所述目标眼部图像以及所述目标嘴部图像分别融入至所述遮罩图像中的对应轮廓区域，得到所述面部表情图像。

25、本公开第二方面的实施例提供了一种面部表情捕捉设备，所述设备包括设置控制单元、眼部区域采集装置和嘴部区域采集装置；

26、所述眼部区域采集装置包括第一摄像头、红外补光灯，以及用于连接所述第一摄像头和所述红外补光灯的第一连接组件；

27、所述嘴部区域采集装置包括第二摄像头，以及用于连接所述第二摄像头和vr头盔外部连接底座的第二连接组件；

28、所述控制单元用于通过所述眼部区域采集装置获取所述眼部图像，通过所述嘴部区域采集装置获取所述嘴部图像，以及通过所述眼部图像和所述嘴部图像执行上述第一方面所述的面部表情捕捉方法的具体执行步骤。

29、在本公开实施例中，所述红外补光灯环形设置在vr头盔的镜片连接底座上。

30、本公开第三方面的实施例提供了一种面部表情捕捉装置，所述装置包括：

31、图像获取模块，用于获取眼部图像和嘴部图像；

32、反畸变校正模块，用于对所述眼部图像和所述嘴部图像分别进行反畸变校正，得到正畸后的眼部图像和正畸后的嘴部图像；

33、反变形模块，用于对所述正畸后的眼部图像和所述正畸后的嘴部图像分别进行反变形，得到目标眼部图像和目标嘴部图像；

34、遮罩图像构建模块，用于基于预设面部图像、所述目标眼部图像以及所述目标嘴部图像，构建遮罩图像；

35、图像融合模块，用于基于所述遮罩图像，将所述目标眼部图像以及所述目标嘴部图像进行图像融合，得到面部表情图像。

36、本公开第四方面的实施例提供了一种计算机设备，该计算机设备包括存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行上述第一方面所述的面部表情捕捉方法。

37、本公开第五方面的实施例提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机指令，所述计算机指令用于使计算机执行上述第一方面所述的面部表情捕捉方法。

38、本公开附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变的明显，或通过本公开的实践了解到。

技术特征：

1.一种面部表情捕捉方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述眼部图像包括第一眼部图像和第二眼部图像。

3.根据权利要求1或2所述的方法，其特征在于，在对所述眼部图像和所述嘴部图像分别进行反畸变校正之前，所述方法还包括：

4.根据权利要求1或2所述的方法，其特征在于，对所述眼部图像进行反畸变校正，包括：

5.根据权利要求4所述的方法，其特征在于，对所述正畸后的眼部图像进行反变形，包括：

6.根据权利要求1或2所述的方法，其特征在于，所述基于所述遮罩图像，将所述目标眼部图像以及所述目标嘴部图像进行图像融合，得到面部表情图像，包括：

7.一种面部表情捕捉设备，其特征在于，所述设备包括设置控制单元、眼部区域采集装置和嘴部区域采集装置；

8.根据权利要求7所述的设备，其特征在于，所述红外补光灯环形设置在vr头盔的镜片连接底座上。

9.一种面部表情捕捉装置，其特征在于，所述装置包括：

10.一种计算机设备，其特征在于，包括：

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机指令，所述计算机指令用于使计算机执行权利要求1至6中任一项所述的面部表情捕捉方法。

技术总结本公开提出一种面部表情捕捉方法、设备、装置、计算机设备及存储介质，该面部表情捕捉方法包括：获取眼部图像和嘴部图像；对所述眼部图像和所述嘴部图像分别进行反畸变校正，得到正畸后的眼部图像和正畸后的嘴部图像；对所述正畸后的眼部图像和所述正畸后的嘴部图像分别进行反变形，得到目标眼部图像和目标嘴部图像；基于预设面部图像、所述目标眼部图像以及所述目标嘴部图像，构建遮罩图像；基于所述遮罩图像，将所述目标眼部图像以及所述目标嘴部图像进行图像融合，得到面部表情图像。本公开实施例能够采集到用户完整的面部表情，进而准确表达出用户情绪。技术研发人员：赵天奇,巴君,渠源,段盼,江超受保护的技术使用者：北京聚力维度科技有限公司技术研发日：技术公布日：2024/9/12