基于虚幻引擎的人物虚拟阴影生成方法、系统、设备、芯片及介质与流程

本发明涉及虚拟制作、虚拟直播及虚拟发布会领域，具体地说是一种基于虚幻引擎的人物虚拟阴影生成方法、系统、设备、芯片及介质。

背景技术：

1、在虚拟制作、虚拟直播应用方案中，通常将绿幕或蓝幕输入源画面接入虚拟场景、并进行抠像处理后，将人物以人物片面的形式放置于虚拟场景中。而为了使人物画面与虚拟场景能够更好的融合，更加的真实和自然，会给人物增加一层阴影投射在地面上，而虚拟场景中的光照投射在人物平面上产生影子不仅对场景环境及布光水平要求较高，其产生的阴影效果一般的同时，对于人物前后移动的过程中还会导致影子无法与人物脚底契合而导致穿帮，并且光照阴影的自定义程度也比较有限。

技术实现思路

1、本发明为解决现有的问题，旨在提供一种基于虚幻引擎的人物虚拟阴影生成方法、系统、设备、芯片及介质，使人物画面能够更好的与场景融合，以得到更加生动、逼真的效果，进一步提升虚拟直播、虚拟发布会的呈现效果和质量。为了达到上述目的，本发明提供的方法包括：

2、步骤1，将输入源画面接入虚幻引擎，转为灰度图；

3、步骤2，基于灰度图计算积分图数据；

4、步骤3，基于积分图数据计算图像不同位置、大小的矩形区域的像素值总和；步骤4，根据像素值总和计算不同haar特征，比较并选择出若干最有信息量的haar特征；

5、步骤5，根据步骤4所选择的haar特征构建级联分类器，匹配最佳的检测矩形框，得到人物脚步位置；

6、步骤6，将阴影二位贴图投影到三维模型表面，并与人物脚步位置契合。

7、在一些实施例的步骤1中，使用加权平均法进行灰度处理，即对于源画面中的每个像素，应用如下灰度化公式：

8、g(x，y)＝0.299×r(x，y)+0.587×g(x，y)+0.114×b(x，y)

9、其中，r(x，y)、g(x，y)和b(x，y)分别代表红色、绿色和蓝色通道在坐标(x，y)上的像素值。

10、在一些实施例的步骤2中，积分图s(x，y)的计算式为：

11、s(x，y)＝∑x′≤x，y′≤yi(x′，y′)

12、其中，(x，y)为每个像素的位置，i(x，y)为像素值，积分图s(x，y)在任意位置(x，y)的值定义为原始图像左上角到当前点(x，y)所包含的所有像素的总和。

13、在一些实施例的步骤2还包括初始化：将积分图在原点的值s(0，0)等于图像在原点的像素值i(0，0)；

14、对于第一行和第一列中，第一行(y＝0)积分图的值s(x，0)可以通过累加当前像素值和前一个积分图的值计算得出：

15、s(x，0)＝s(x-1，0)+i(x，0)

16、同理，对于第一列(x＝0)积分图的值s(x，0)为：

17、s(0，y)＝s(0，y-1)+i(0，y)。

18、在一些实施例中，还计算对于x>0和y>0的其它位置的情况，其积分图的值通过如下公式计算：

19、s(x，y)＝i(x，y)+s(x-1，y)+s(x，y-1)-s(x-1，y-1)

20、其中，s(x-1，y)和s(x，y-1)分别为左边、上边的积分图的值，而s(x-1，y-1)则为其左上角的值。

21、在一些实施例的步骤3中，设矩形的四个角，左上角(x1，)1)和右下角(x2，y2)，通过下面的求和公式计算出矩形内的像素总和：

22、sum＝s(x2，y2)-s(x1-1，y2)-s(x2，y1-1)+s(x1-1，y1-1)其中，s(x1-1，y2)和s(x2，y1-1)是对应于矩形左侧和上侧边界外一列/行的积分图值。

23、在一些实施例的步骤4中，所述haar特征为基于图像的矩形区域内的像素强度差异，其特征值为：

24、haar＝∑(白色矩形区域像素和)-∑(黑色矩形区域像素和)。

25、在一些实施例的步骤5中，级联分类器为一系列弱分类器的集合，且按顺序排列；每个弱分类器检测一个矩形框是否可能包含对象；

26、和/或，在检测过程中，级联分类器在整个图像上通过滑动矩形框运作；

27、和/或，矩形框从图像的一角开始，逐渐在水平和垂直方向移动；

28、和/或，对于每个矩形框位置，计算其haar特征并通过级联分类器进行评估；和/或，对矩形框进行多尺度扫描，即改变矩形框的大小以适应不同尺寸的对象。

29、在一些实施例的步骤5中，对于可能得到的多个相互重叠的检测矩形框，通过非极大值抑制计算比较各个矩形框的重叠区域和置信度，去除与较高置信度矩形框重叠较大的低置信度矩形框。

30、在一些实施例的步骤6中，通过虚幻引擎的合成模块进行抠像处理，通过捕获组件捕获人物面片对象，通过贴花组件生成虚拟阴影，并将阴影的二维贴图投影到三维虚拟场景中的模型表面上。

31、在一些实施例的步骤6中，将虚拟阴影贴花材质中的模糊度、宽窄、透明度以及位置的调整，全部暴露为动态可调的参数，并通过人机交互界面进行调整。本发明还提供一种人物虚拟阴影生成系统，包括：

32、转换模块，用于将接入虚幻引擎的输入源画面转为灰度图；

33、积分图模块，用于计算积分图数据，计算图像不同位置、大小的矩形区域的像素值总和；

34、分类模块，计算、比较并选择出若干最有信息量的haar特征并构建级联分类器，匹配最佳的检测矩形框，得到人物脚步位置；

35、投影模块，用于将阴影二位贴图投影到三维模型表面，并与人物脚步位置契合。本发明还提供一种人物虚拟阴影生成设备，包括存储器以及处理器，存储器中包括可在其上运行的计算机程序，所述处理器执行所述计算机程序时实现任一所述的方法。

36、本发明还提供一种芯片，包括一个或多个处理器，用于从存储器中调用并运行计算机程序，使得安装有所述芯片的设备执行任一项所述的方法。

37、本发明还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行中任一所述的方法。

38、和现有技术相比，本发明通过基于haar特征的级联分类器的人物检测方法，实时绘制人体矩形以得到面片人物脚底位置，使阴影可以始终与人物脚底契合而避免穿帮，同时采用贴花组件通过贴花材质生成人物的虚拟影子来代替光照阴影，以达到可以实时调整虚拟阴影的透明度、宽窄、大小、模糊度、角度及位置的目的，实现更自由的自定义程度。并且利用贴花材质的特性，可以将二维贴图投影到三维世界中的模型表面上，使虚拟阴影还可以投射至场景中的物体模型上，实现更真实的交互效果。

技术特征：

1.一种基于虚幻引擎的人物虚拟阴影生成方法，其特征在于包括：

2.根据权利要求1所述的方法，其特征在于：步骤1中，使用加权平均法进行灰度处理，即对于源画面中的每个像素，应用如下灰度化公式：

3.根据权利要求1所述的方法，其特征在于：步骤2中，积分图s(x，y)的计算式为：

4.根据权利要求3所述的方法，其特征在于：步骤2还包括初始化：将积分图在原点的值s(0，0)等于图像在原点的像素值i(0，0)；

5.根据权利要求4所述的方法，其特征在于：还计算对于x＞0和y＞0的其它位置的情况，其积分图的值通过如下公式计算：

6.根据权利要求1-5任一所述的方法，其特征在于：步骤3中，设矩形的四个角，左上角(x1，y1)和右下角(x2，y2)，通过下面的求和公式计算出矩形内的像素总和：

7.根据权利要求1所述的方法，其特征在于：步骤4中，所述haar特征为基于图像的矩形区域内的像素强度差异，其特征值为：

8.根据权利要求1所述的方法，其特征在于：步骤5中，级联分类器为一系列弱分类器的集合，且按顺序排列；每个弱分类器检测一个矩形框是否可能包含对象；

9.根据权利要求1或8所述的方法，其特征在于：步骤5中，对于可能得到的多个相互重叠的检测矩形框，通过非极大值抑制计算比较各个矩形框的重叠区域和置信度，去除与较高置信度矩形框重叠较大的低置信度矩形框。

10.根据权利要求1所述的方法，其特征在于：步骤6中，通过虚幻引擎的合成模块进行抠像处理，通过捕获组件捕获人物面片对象，通过贴花组件生成虚拟阴影，并将阴影的二维贴图投影到三维虚拟场景中的模型表面上。

11.根据权利要求1或10所述的方法，其特征在于：步骤6中，将虚拟阴影贴花材质中的模糊度、宽窄、透明度以及位置的调整，全部暴露为动态可调的参数，并通过人机交互界面进行调整。

12.一种人物虚拟阴影生成系统，其特征在于包括：

13.一种人物虚拟阴影生成设备，其特征在于：包括存储器以及处理器，存储器中包括可在其上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1-10中任一所述的方法。

14.一种芯片，其特征在于：包括一个或多个处理器，用于从存储器中调用并运行计算机程序，使得安装有所述芯片的设备执行如权利要求1-10中任一项所述的方法。

15.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-10中任一所述的方法。

技术总结基于虚幻引擎的人物虚拟阴影生成方法、系统、设备、芯片及介质，方法包括将输入源画面接入虚幻引擎，转为灰度图；计算积分图数据；计算图像不同位置、大小的矩形区域的像素值总和；计算不同Haar特征，比较并选择出若干最有信息量的Haar特征；构建级联分类器，匹配最佳的检测矩形框，得到人物脚步位置；将阴影二位贴图投影到三维模型表面，与人物脚步位置契合。本发明通过基于Haar特征的级联分类器的人物检测方法，实时绘制人体矩形以得到面片人物脚底位置，使阴影可以始终与人物脚底契合而避免穿帮，同时采用贴花组件通过贴花材质生成人物的虚拟影子来代替光照阴影，达到可以实时调整虚拟阴影的透明度、宽窄、大小、模糊度、角度及位置的目的。技术研发人员：洪煦,吴锐受保护的技术使用者：上海随幻智能科技有限公司技术研发日：技术公布日：2024/8/20