一种数字人替换方法、系统、设备、介质和程序产品与流程

本申请实施例涉及视频处理，尤其涉及一种数字人替换方法、系统、设备、介质和程序产品。

背景技术：

1、现有技术中的人工智能生成内容“artificial intelligence generatedcontent，aigc”技术可以帮助用户实现ai换脸，即将用户的脸换到视频中的目标人脸中。对于长视频等技术，aigc尚未实现使用用户的身体替换视频中的角色的相关技术。

2、由于身体替换由于技术门槛较高，因此对于普通用户来说，生成自己的数字人形象替换视频的门槛较高，用户不能沉浸式体验视频内容，导致用户在观看视频的体验感和代入感就有所降低。

技术实现思路

1、本申请实施例提供一种数字人替换方法、系统、设备、介质和程序产品，以解决如何增强用户观看视频的体验感和带入感的技术问题。

2、为了解决上述技术问题，本申请是这样实现的：

3、第一方面，本申请实施例提供了一种数字人替换方法，包括：

4、接收包含目标用户身体实例的用户视频；

5、对所述用户视频进行人体三维重建操作，生成所述目标用户的数字人形象；

6、接收到使用所述目标用户的数字人形象进行数字人替换的替换请求；

7、将目标视频中目标角色替换为所述目标用户的数字人形象，生成替换视频。

8、可选的，所述人体三维重建操作包括：

9、提取所述用户视频的图像帧；

10、将所述用户视频的图像帧输入遮罩算法中，生成所述目标用户身体对应的遮罩；

11、将所述目标用户身体对应的遮罩输入几何算法中，计算所述目标用户的数字人几何模型，其中，所述目标用户的数字人几何模型用于表示所述目标用户的数字人形象；

12、将通用的三维人体模型注册到所述目标用户的数字人几何模型上。

13、可选的，所述接收到使用所述目标用户的数字人形象进行数字人替换的替换请求之后还包括：

14、接收到所述目标用户选择所述目标角色的请求；

15、对所述目标视频的画面进行分割，得到分割后的所述目标角色；

16、标记所述目标角色。

17、可选的，所述接收到使用所述目标用户的数字人形象进行数字人替换的替换请求之后还包括：

18、获取所述目标用户选择的替换时长；

19、以所述目标视频的当前帧为起始时间，将向后截取所述替换时长的目标视频作为用于生成所述替换视频的目标视频。

20、可选的，所述将目标视频中目标角色替换为所述目标用户的数字人形象，生成替换视频包括：

21、对所述目标视频中的每一帧目标图像进行下述操作后合成，生成替换视频：

22、获取并追踪分割后的所述目标角色；

23、将所述目标用户的数字人几何模型覆盖在所述目标角色上。

24、可选的，所述将所述目标用户的数字人几何模型覆盖在所述目标角色上包括：

25、对所述分割后的目标角色进行姿态估计，得到所述目标角色的估算三维姿态，并跟踪所述目标角色的姿态轨迹；

26、调整所述目标用户的数字人的身体尺寸和比例与所述目标角色匹配；

27、将所述目标用户的数字人几何模型对齐到所述目标角色的估算三维姿态；

28、调整所述目标用户的数字人几何模型的动作和姿势以匹配所述目标角色的动作和姿势；

29、调整所述目标用户的数字人几何模型的光照与环境中的光照匹配；

30、将调整后所述目标用户的数字人几何模型覆盖在被追踪的目标角色上。

31、第二方面，本申请实施例提供了一种数字人替换系统，包括：

32、接收模块，用于接收包含目标用户身体实例的用户视频；

33、重建模块，用于对所述用户视频进行人体三维重建操作，生成所述目标用户的数字人形象；

34、请求模块，用于接收到使用所述目标用户的数字人形象进行数字人替换的替换请求；

35、替换模块，用于将目标视频中目标角色替换为所述目标用户的数字人形象，生成替换视频。

36、第三方面，本申请实施例提供了一种电子设备，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序，所述程序被所述处理器执行时实现如上述第一方面所述的数字人替换方法的步骤。

37、第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的数字人替换方法的步骤。

38、第五方面，提供一种计算机程序产品，包括计算机指令，该计算机指令被处理器执行时实现如第一方面所述的数字人替换方法的步骤。

39、在本申请中，通过接收包含目标用户身体实例的用户视频；对所述用户视频进行人体三维重建操作，生成所述目标用户的数字人形象；接收到使用所述目标用户的数字人形象进行数字人替换的替换请求；将目标视频中目标角色替换为所述目标用户的数字人形象，生成替换视频。本申请实施例中，能够根据用户上传的真人视频身体实例快速生成目标用户的数字人形象，并使用用户的数字人形象替代用户想要替换的目标角色，使得最终生成的视频中为用户执行目标角色的动作，从而增强用户在观看视频时的代入感和体验感，并降低用户视频的创作门槛，便于吸引更多用户进行视频创作。

技术特征：

1.一种数字人替换方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述人体三维重建操作包括：

3.根据权利要求2所述的方法，其特征在于，所述接收到使用所述目标用户的数字人形象进行数字人替换的替换请求之后还包括：

4.根据权利要求1所述的方法，其特征在于，所述接收到使用所述目标用户的数字人形象进行数字人替换的替换请求之后还包括：

5.根据权利要求3所述的方法，其特征在于，所述将目标视频中目标角色替换为所述目标用户的数字人形象，生成替换视频包括：

6.根据权利要求5所述的方法，其特征在于，所述将所述目标用户的数字人几何模型覆盖在所述目标角色上包括：

7.一种数字人替换系统，其特征在于，包括：

8.一种电子设备，其特征在于，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序，所述程序被所述处理器执行时实现如权利要求1至6中任一项所述的数字人替换方法的步骤。

9.一种计算机可读存储介质，其特征在于，计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的数字人替换方法的步骤。

10.一种计算机程序产品，其特征在于，包括计算机指令，所述计算机指令被处理器执行时实现如权利要求1至6中任一项所述的数字人替换方法的步骤。

技术总结本申请提供一种数字人替换方法、系统、设备、介质和程序产品，该方法包括：接收包含目标用户身体实例的用户视频；对所述用户视频进行人体三维重建操作，生成所述目标用户的数字人形象；接收到使用所述目标用户的数字人形象进行数字人替换的替换请求；将目标视频中目标角色替换为所述目标用户的数字人形象，生成替换视频。本申请根据用户上传的真人视频身体实例快速生成目标用户的数字人形象，并使用用户的数字人形象替代用户想要替换的目标角色，使得最终生成的视频中为用户执行目标角色的动作，从而增强用户在观看视频时的代入感和体验感，并降低用户视频的创作门槛，便于吸引更多用户进行视频创作。技术研发人员：蒋晨晨,蔡永辉,陈霖甲,高明阳受保护的技术使用者：咪咕文化科技有限公司技术研发日：技术公布日：2024/9/17