虚拟场景中真人投影替代数字人的方法、系统及存储介质与流程

本发明涉及虚拟与现实，特别涉及虚拟场景中真人投影替代数字人的方法、系统及存储介质。

背景技术：

1、随着网络的普及和流媒体技术的快速发展,人们沟通及交流的方式也发生了巨大的变化。传统的信息沟通及交流模式已经无法满足现代社会对于多元化展示及沟通体验的需求。因此元宇宙平台应运而生。

2、现有的元宇宙平台是通过虚拟数字人打造一系列的虚拟形象来实现用户之间的沟通的，虚拟数字人由一个或多个计算机生成并融合了真人形象的数据和特征的人类活动过程和信息的综合表现形式，但是虚拟数字人一般是通过建模形成，即使建模水平很高，但是用户从视觉感官上来说还是只能感受到虚拟的人物形象，不能提高用户的真实感受。

技术实现思路

1、本发明的目的就在于为了解决上述虚拟场景采用的虚拟数字人使用起来不够真实的问题提出虚拟场景中真人投影替代数字人的方法、系统及存储介质，具有增强用户的真实感受，方便管理的优点。

2、第一方面，本发明通过以下技术方案来实现上述目的，一种虚拟场景中真人投影替代数字人的方法，该方法包括以下步骤：

3、在虚拟场景中设置用于播放视频流的视频框ui，设置所述视频框ui为透明状态，所述视频流的显示内容为服务器同步的客户端实时采集的无背景的真人画面；

4、将所述视频框ui与所述虚拟场景中的虚拟人物模型绑定，并设置隐藏所述虚拟人物模型的mesh，所述绑定方法包括：设置每生成一个所述虚拟人物模型的同时生成一个所述视频框ui，并设置每个所述视频框ui与相应的所述虚拟人物模型的位置同步；

5、设置所述视频框ui的展示面始终朝向客户端的所述虚拟人物模型。

6、优选的，所述客户端实时采集无背景的真人画面的方法是通过客户端连接体感摄像头或客户端内置抠像算法，将实时拍摄的真人视频中的每一帧画面进行去除背景操作，保留的人像画面即为无背景的真人画面。

7、优选的，所述设置每个所述视频框ui与相应的所述虚拟人物模型的位置同步的方法包括实时获取虚拟人物模型在x、y、z三轴上的坐标值，并将获得的坐标值设置为视频框ui在虚拟场景中的坐标值。

8、优选的，该方法还包括将所述视频框ui与所述虚拟场景中的虚拟人物模型绑定后，设置视频框ui播放的视频流中的人像脚底与虚拟人物模型的脚底始终对齐。

9、优选的，所述设置视频框ui播放的视频流中的人像脚底与虚拟人物模型的脚底始终对齐的方法包括：

10、预设真人画面的标准尺寸，并固定所述真人画面的中心与所述视频框ui的中心重合，调节所述视频框ui的位置，使真人画面的人像脚底与虚拟人物模型的脚底对齐；

11、记录所述标准尺寸下所述真人画面与所述视频框ui 的像素占比a；

12、实时计算视频流中真人画面在视频框ui中的像素占比b；

13、计算缩放率n的值，n=b/a，调整视频流中的真人画面以中心进行缩放，若计算的n＞1，则真人画面进行缩小，若计算的n＜1，则真人画面放大，若计算的n=1，则真人画面不变；

14、调整缩放后的真人画面的中心与视频框ui 的中心重合。

15、优选的，所述设置视频框ui播放的视频流中的人像脚底与虚拟人物模型的脚底始终对齐的方法包括：

16、利用摄像头的测距功能记录采集视频流的摄像头与真人的间距；

17、设定一个标准间距值，在所述标准间距值下，所述摄像头采集到的视频流中的真人画面的人像脚底与虚拟人物模型的脚底对齐；

18、计算多组间距下视频流中的真人画面尺寸，并记录该真人画面尺寸缩放到标准间距值下真人画面尺寸的缩放值，计算缩放值和间距的关系值k；

19、检测摄像头与真人的间距，根据k计算真人画面所需的缩放值，按照缩放值缩放真人画面传递给视频框ui。

20、第二方面，本发明通过以下技术方案来实现上述目的，一种虚拟场景中真人投影替代数字人的系统，所述系统包括：

21、ui生成单元，用于在虚拟场景中设置用于播放视频流的视频框ui，设置所述视频框ui为透明状态，所述视频流的显示内容为服务器同步的客户端实时采集的无背景的真人画面;

22、同步绑定单元，用于将所述视频框ui与所述虚拟场景中的虚拟人物模型绑定，并设置隐藏所述虚拟人物模型的mesh，所述绑定方法包括：设置每生成一个所述虚拟人物模型的同时生成一个所述视频框ui，并设置每个所述视频框ui与相应的所述虚拟人物模型的位置同步；

23、ui设置单元，用于设置所述视频框ui的展示面始终朝向客户端的所述虚拟人物模型。

24、优选的，所述同步绑定单元中包括位置同步模块，所述位置同步模块设置每个所述视频框ui与相应的所述虚拟人物模型的位置同步的方法包括实时获取虚拟人物模型在x、y、z三轴上的坐标值，并将获得的坐标值设置为视频框ui在虚拟场景中的坐标值。

25、优选的，所述同步绑定单元中还包括脚底对齐模块，用于将所述视频框ui与所述虚拟场景中的虚拟人物模型绑定后，设置视频框ui播放的视频流中的人像脚底与虚拟人物模型的脚底始终对齐。

26、第三方面，本发明通过以下技术方案来实现上述目的，一种存储介质，其上存储有计算机程序，在所述计算机程序被处理器执行时，实现如第一方面所述的虚拟场景中真人投影替代数字人的方法。

27、与现有技术相比，本发明的有益效果是：本发明通过生成视频框ui来播放无背景的真人画面，并且视频框ui和虚拟人物模型处于绑定状态，在虚拟人物模型的mesh被隐藏时，位于虚拟人物模型的位置上可以看到无背景的实时真人画面，随着虚拟人物模型的控制移动，真人画面也进行移动，动态的真人形象让用户观看起来感受更加的真实，而且视频框ui始终面向客户端的虚拟人物模型，这样无论场景中存在多少用户，所有用户的正脸都是始终是朝向使用本客户端的用户的，这样也能方便人与人之间的交流和管理。

技术特征：

1.一种虚拟场景中真人投影替代数字人的方法，其特征在于，该方法包括以下步骤：

2.根据权利要求1所述的虚拟场景中真人投影替代数字人的方法，其特征在于，所述客户端实时采集无背景的真人画面的方法是通过客户端连接体感摄像头或客户端内置抠像算法，将实时拍摄的真人视频中的每一帧画面进行去除背景操作，保留的人像画面即为无背景的真人画面。

3.根据权利要求1所述的虚拟场景中真人投影替代数字人的方法，其特征在于，所述设置每个所述视频框ui与相应的所述虚拟人物模型的位置同步的方法包括实时获取虚拟人物模型在x、y、z三轴上的坐标值，并将获得的坐标值设置为视频框ui在虚拟场景中的坐标值。

4.根据权利要求1所述的虚拟场景中真人投影替代数字人的方法，其特征在于，该方法还包括将所述视频框ui与所述虚拟场景中的虚拟人物模型绑定后，设置视频框ui播放的视频流中的人像脚底与虚拟人物模型的脚底始终对齐。

5.根据权利要求4所述的虚拟场景中真人投影替代数字人的方法，其特征在于，所述设置视频框ui播放的视频流中的人像脚底与虚拟人物模型的脚底始终对齐的方法包括：

6.根据权利要求4所述的虚拟场景中真人投影替代数字人的方法，其特征在于，所述设置视频框ui播放的视频流中的人像脚底与虚拟人物模型的脚底始终对齐的方法包括：

7.一种虚拟场景中真人投影替代数字人的系统，其特征在于，所述系统包括：

8.根据权利要求7所述的虚拟场景中真人投影替代数字人的系统，其特征在于，所述同步绑定单元中包括位置同步模块，所述位置同步模块设置每个所述视频框ui与相应的所述虚拟人物模型的位置同步的方法包括实时获取虚拟人物模型在x、y、z三轴上的坐标值，并将获得的坐标值设置为视频框ui在虚拟场景中的坐标值。

9.根据权利要求7所述的虚拟场景中真人投影替代数字人的系统，其特征在于，所述同步绑定单元中还包括脚底对齐模块，用于将所述视频框ui与所述虚拟场景中的虚拟人物模型绑定后，设置视频框ui播放的视频流中的人像脚底与虚拟人物模型的脚底始终对齐。

10.一种存储介质，其特征在于，其上存储有计算机程序，在所述计算机程序被处理器执行时，实现如权利要求1-6任一项所述的虚拟场景中真人投影替代数字人的方法。

技术总结本发明公开了虚拟场景中真人投影替代数字人的方法、系统及存储介质，属于虚拟与现实技术领域，该方法包括：在虚拟场景中设置用于播放视频流的视频框UI，设置视频框UI为透明状态，视频流的显示内容为服务器同步的客户端实时采集的无背景的真人画面；将视频框UI与虚拟场景中的虚拟人物模型绑定，并设置隐藏虚拟人物模型的mesh，绑定方法包括：设置每生成一个虚拟人物模型的同时生成一个视频框UI，并设置每个视频框UI与相应的虚拟人物模型的位置同步；设置视频框UI的展示面始终朝向客户端的虚拟人物模型。本发明通过视频框UI来播放无背景的真人画面代替原虚拟场景中的虚拟人物模型，使用户在交互的时候感受更加真实。技术研发人员：倪竹伟,殷超受保护的技术使用者：南京维赛客网络科技有限公司技术研发日：技术公布日：2024/8/1