人脸表情编辑方法及电子设备与流程

技术特征：
1.一种人脸表情编辑方法，其特征在于，包括：获取待编辑图像，所述待编辑图像包括用户的第一脸部图像；通过摄像头获取包括所述用户的第二脸部图像的第一视频流；根据所述第一视频流中的所述用户的第二脸部图像对所述待编辑图像中所述用户的第一脸部图像进行编辑，以得到初步编辑的图像；所述初步编辑的图像包括所述用户的第三脸部图像；根据所述待编辑图像中所述用户的第一脸部图像、所述初步编辑的图像中所述用户的第三脸部图像和所述第一视频流中所述用户的第二脸部图像获取特征图像，所述特征图像为包括所述用户的眼睛和口腔的图像；将所述特征图像与所述初步编辑的图像中所述用户的第三脸部图像进行融合，以得到编辑后的图像；其中，所述编辑后的图像包括所述用户的第一脸部表情，所述第二脸部图像包括所述用户的第二脸部表情，所述第一脸部表情与所述第二脸部表情相关联。2.根据权利要求1所述的方法，其特征在于，所述第一脸部表情与所述第二脸部表情相关联，具体包括：所述第一脸部表情为所述第二脸部表情，或者；第一向量与第二向量的均方误差小于第一阈值，其中所述第一向量为用于表征所述第一脸部表情的向量，所述第二向量为用于表征所述第二脸部表情的向量。3.根据权利要求1或2所述的方法，其特征在于，所述根据所述第一视频流中的所述用户的第二脸部图像对所述待编辑图像中所述用户的第一脸部图像进行编辑，以得到初步编辑的图像，具体包括：根据所述第一视频流中所述用户的第二脸部图像和所述待编辑图像中所述用户的第一脸部图像确定第一目标参数，所述第一目标参数为用于描述所述用户的脸部形状的向量；根据所述第一目标参数和所述待编辑图像确定第二目标参数、第三目标参数和第四目标参数，其中，所述第二目标参数用于表征所述用户脸部的大小尺度，所述第三目标参数用于表征所述用户的三维人脸头部姿态的旋转矩阵或欧拉角，所述第四目标参数用于表征在笛卡尔坐标系下所述用户的三维头部映射到图像坐标系时需要的平移量；根据所述第一目标参数和所述第一视频流中的所述用户的第二脸部图像确定所述第五目标参数，所述第五目标参数为用于描述所述第一视频流中所述用户脸部表情的向量；根据所述第一目标参数、第二目标参数、第三目标参数、第四目标参数和第五目标参数构建目标人脸模型；对所述目标人脸模型进行渲染重建，以得到所述初步编辑的图像。4.根据权利要求3所述的方法，其特征在于，所述第一视频流包括n张图像，n为大于1的整数，所述n张图像中的每张图像均包括所述用户的第二脸部图像，所述根据所述第一视频流中所述用户的第二脸部图像和所述待编辑图像中所述用户的第一脸部图像确定第一目标参数，包括：对所述n张图像中每张图像中所述用户的第二脸部图像进行建模，以得到所述每张图像的第一参数，所述每张图像的第一参数用于描述所述每张图像中所述用户的脸部形状的向量；
对所述待编辑图像中所述用户的第一脸部图像进行建模，以得到所述待编辑图像的第二参数，所述第二参数为用于描述所述待编辑图像中所述用户的脸部形状的向量；根据所述n张图像中每张图像的第一参数和所述待编辑图像的第二参数确定所述第一目标参数。5.根据权利要求1-4任一项所述的方法，其特征在于，根据所述待编辑图像中所述用户的第一脸部图像、所述初步编辑的图像中所述用户的第三脸部图像和所述第一视频流中所述用户的第二脸部图像获取特征图像，包括：分别对所述待编辑图像中所述用户的第一脸部图像、所述初步编辑的图像中所述用户的第三脸部图像和所述第一视频流中所述用户的第二脸部图像进行图像分割，以得到第一图像、第二图像和第三图像，所述第一图像为所述待编辑图像中包括所述用户的眼睛和口腔的图像，所述第二图像为所述初步编辑的图像中包括所述用户的眼睛和口腔的图像，所述第三图像为所述第一视频流中包括所述用户的眼睛和口腔的图像；对所述第一图像，第二图像和第三图像中的眼睛和口腔的特征进行编码，以得到所述用户的眼睛和口腔图像的特征向量；根据所述用户的眼睛和口腔图像的特征向量生成所述特征图像。6.根据权利要求1-5任一项所述的方法，其特征在于，所述通过摄像头获取包括所述用户的第二脸部图像的第一视频流之前，所述方法还包括：通过所述摄像头获取包括所述用户的第四脸部图像的第二视频流；对所述第二视频流中所述用户的第四脸部图像进行脸部特征提取，以得到第一脸部特征；对所述待编辑图像中所述用户的第一脸部图像进行脸部特征提取，以得到第二脸部特征；当所述第一脸部特征与所述第二脸部特征相匹配时，通过所述摄像头获取包括所述用户的第二脸部图像的第一视频流。7.根据权利要求6所述的方法，其特征在于，所述方法还包括：在开启所述摄像头获取所述第一视频流时，判断是否录制所述用户的脸部表情编辑过程的视频；若判断录制所述用户的脸部表情编辑过程的视频，则在获取所述编辑后的图像后，保存所述用户的脸部表情编辑过程的视频中多帧图像或者全部图像，所述多帧图像或者全部图像包括所述编辑后的图像；若判断不录制所述用户的脸部表情编辑过程的视频，则在获取所述编辑后的图像后，保存所述编辑后的图像。8.根据权利要求1-7所述的方法，其特征在于，所述方法还包括：实时显示所述待编辑图像、所述第一视频流和对所述待编辑图像进行实时编辑的效果图像。9.一种电子设备，其特征在于，包括：获取单元，用于获取待编辑图像，所述待编辑图像包括用户的第一脸部图像；并通过摄像头获取包括所述用户的第二脸部图像的第一视频流；编辑单元，用于根据所述第一视频流中的所述用户的第二脸部图像对所述待编辑图像中所述用户的第一脸部图像进行编辑，以得到初步编辑的图像；所述初步编辑的图像包括
所述用户的第三脸部图像；特征获取单元，还用于根据所述待编辑图像中所述用户的第一脸部图像、所述初步编辑的图像中所述用户的第三脸部图像和所述第一视频流中所述用户的第二脸部图像获取特征图像，所述特征图像为包括所述用户的眼睛和口腔的图像；融合单元，用于将所述特征图像与所述初步编辑的图像中所述用户的第三脸部图像进行融合，以得到编辑后的图像；其中，所述编辑后的图像包括所述用户的第一脸部表情，所述第二脸部图像包括所述用户的第二脸部表情，所述第一脸部表情与所述第二脸部表情相关联。10.根据权利要求9所述的电子设备，其特征在于，所述第一脸部表情与所述第二脸部表情相关联，具体包括：所述第一脸部表情为所述第二脸部表情，或者；第一向量与第二向量的均方误差小于第一阈值，其中所述第一向量为用于表征所述第一脸部表情的向量，所述第二向量为用于表征所述第二脸部表情的向量。11.根据权利要求9或10所述的电子设备，其特征在于，所述编辑单元具体用于：根据所述第一视频流中所述用户的第二脸部图像和所述待编辑图像中所述用户的第一脸部图像确定第一目标参数，所述第一目标参数为用于描述所述用户的脸部形状的向量；根据所述第一目标参数和所述待编辑图像确定第二目标参数、第三目标参数和第四目标参数，其中，所述第二目标参数用于表征所述用户脸部的大小尺度，所述第三目标参数用于表征所述用户的三维人脸头部姿态的旋转矩阵或欧拉角，所述第四目标参数用于表征在笛卡尔坐标系下所述用户的三维头部映射到图像坐标系时需要的平移量；根据所述第一目标参数和所述第一视频流中的所述用户的第二脸部图像确定所述第五目标参数，所述第五目标参数为用于描述所述第一视频流中所述用户脸部表情的向量；根据所述第一目标参数、第二目标参数、第三目标参数、第四目标参数和第五目标参数构建目标人脸模型；对所述目标人脸模型进行渲染重建，以得到所述初步编辑的图像。12.根据权利要求11所述的电子设备，其特征在于，所述第一视频流包括n张图像，n为大于1的整数，所述n张图像中的每张图像均包括所述用户的第二脸部图像，在所述根据所述第一视频流中所述用户的第二脸部图像和所述待编辑图像中所述用户的第一脸部图像确定第一目标参数的方面，所述编辑单元具体用于：对所述n张图像中每张图像中所述用户的第二脸部图像进行建模，以得到所述每张图像的第一参数，所述每张图像的第一参数用于描述所述每张图像中所述用户的脸部形状的向量；对所述待编辑图像中所述用户的第一脸部图像进行建模，以得到所述待编辑图像的第二参数，所述第二参数为用于描述所述待编辑图像中所述用户的脸部形状的向量；根据所述n张图像中每张图像的第一参数和所述待编辑图像的第二参数确定所述第一目标参数。13.根据权利要求9-12任一项所述的电子设备，其特征在于，所述特征获取单元具体用于：
分别对所述待编辑图像中所述用户的第一脸部图像、所述初步编辑的图像中所述用户的第三脸部图像和所述第一视频流中所述用户的第二脸部图像进行图像分割，以得到第一图像、第二图像和第三图像，所述第一图像为所述待编辑图像中包括所述用户的眼睛和口腔的图像，所述第二图像为所述初步编辑的图像中包括所述用户的眼睛和口腔的图像，所述第三图像为所述第一视频流中包括所述用户的眼睛和口腔的图像；对所述第一图像，第二图像和第三图像中的眼睛和口腔的特征进行编码，以得到所述用户的眼睛和口腔图像的特征向量；根据所述用户的眼睛和口腔图像的特征向量生成所述特征图像。14.根据权利要求9-13任一项所述的电子设备，其特征在于，所述通过摄像头获取包括所述用户的第二脸部图像的第一视频流之前，所述获取单元，还用于通过所述摄像头获取包括所述用户的第四脸部图像的第二视频流；所述电子设备还包括：特征提取单元，用于对所述第二视频流中所述用户的第四脸部图像进行脸部特征提取，以得到第一脸部特征；对所述待编辑图像中所述用户的第一脸部图像进行脸部特征提取，以得到第二脸部特征；确定单元，用于当所述第一脸部特征与所述第二脸部特征相匹配时，通过所述摄像头获取包括所述用户的第二脸部图像的第一视频流。15.根据权利要求14所述的电子设备，其特征在于，所述电子设备还包括：判断单元，用于在开启所述摄像头获取所述第一视频流时，判断是否录制所述用户的脸部表情编辑过程的视频；存储单元，用于若所述判断单元判断录制所述用户的脸部表情编辑过程的视频，则在获取所述编辑后的图像后，保存所述用户的脸部表情编辑过程的视频中多帧图像或者全部图像，所述多帧图像或者全部图像包括所述编辑后的图像；若所述判断单元判断确定不录制所述用户的脸部表情编辑过程的视频，则在获取所述编辑后的图像后，保存所述编辑后的图像。16.根据权利要求9-15任一项所述的电子设备，其特征在于，所述电子设备还包括：显示单元，用于实时显示所述待编辑图像、所述第一视频流和对所述待编辑图像进行实时编辑的效果图像。17.一种电子设备，包括触控屏，存储器，一个或多个处理器；其中，所述存储器存储有一个或多个程序；其特征在于，所述一个或多个处理器在执行所述一个或多个程序时，使得所述电子设备实现如权利要求1至8任一项所述的方法。18.一种计算机存储介质，其特征在于，包括计算机指令，当所述计算机指令在电子设备上运行时，使得所述电子设备执行如权利要求1至8任一项所述的方法。19.一种计算机程序产品，其特征在于，当所述计算机程序产品在计算机上运行时，使得所述计算机执行如权利要求1至8任一项所述的方法。

技术总结
本申请涉及图像处理领域，具体涉及一种脸部表情编辑方法及电子设备，方法包括：获取待编辑图像，该待编辑图像中包括用户的第一脸部图像；通过摄像头获取包括用户的第二脸部图像的第一视频流；根据第一视频流中用户的第一脸部图像对待编辑图像中用户的第一脸部图像进行编辑，以得到编辑后的图像，其中，编辑后的图像中用户的脸部表情与第一视频流中用户的脸部表情相关。根据通过摄像头实时捕捉的用户脸部图像对静态照片中用户的脸部表情进行再编辑，实现了表情的再编辑功能，并且效果更加地真实，提高了用户体验。提高了用户体验。提高了用户体验。


技术研发人员：李照洋 张熙 何侵嵚 张颖璐 廖继平
受保护的技术使用者：华为技术有限公司
技术研发日：2020.06.05
技术公布日：2021/12/6