一种虚实遮挡关系处理方法、装置及电子设备与流程

本发明涉及增强现实，具体而言，涉及一种虚实遮挡关系处理方法、装置及电子设备。

背景技术：

1、虚拟物体和真实场景之间应具有正确的遮挡关系，即虚拟物体可以遮挡真实物体，同时也可以被真实物体所遮挡。但是在增强现实系统中，无论虚拟物体与真实环境具有怎样的空间相对位置，计算机只是将虚拟物体直接叠加在真实场景上，从而虚拟物体总是显示在真实环境的前面，操作者可能会失去对场景深度的判断，长此以往可能会导致感官错乱。

2、目前，现有技术中利用kinect设备对真实场景进行三维重建来获取真实场景的深度图，使用深度直方图来自动确定图像是否处于近距离模式。如果图像不处于近距离模式，则使用基于快速icp(iterative closest point，迭代最近点搜索法)的配准方法来计算相机姿态；如果图像处于近距离模式，则使用结合快速icp和orb(oriented fast androtated brief，尺度不变特征变换)的配准方法来计算相机姿态。最后通过基于场景几何分析的方式进行融合场景的绘制。在增强现实系统中用户需要频繁变化观察视角来进行增强现实体验和操作，而该方法当场景视角发生变化后需要重新对场景进行三维重建并获取场景深度图，计算量较大，难以满足系统的实时性要求，并且在遮挡发生区域，由于噪声点的影响容易产生错误的虚实遮挡关系。导致得到的虚实关系准确率低。

3、因此，本技术提供了一种虚实遮挡关系处理方法、装置及电子设备。

技术实现思路

1、本发明的目的在于提供一种虚实遮挡关系处理方法、装置及电子设备，能够减少错误的虚实遮挡关系，提高虚实遮挡关系处理准确率，同时能够减少计算量。

2、第一方面，本发明提供一种虚实遮挡关系处理方法，所述方法包括：

3、基于预设的模板匹配规则确定真实目标物体的虚拟替身；

4、对所述虚拟替身进行消隐；

5、获取与所述真实目标物体发生遮挡的虚拟物体在遮挡区域的深度值、颜色值及对应遮挡区域的虚拟替身的深度值、颜色值；

6、基于两者的深度值确定所述虚拟物体与所述真实目标物体的虚实遮挡关系；

7、基于所述虚实遮挡关系及颜色值对消隐后的真实目标物体绘制虚实融合场景。

8、可选地，所述基于预设的模板匹配规则确定真实目标物体的虚拟替身包括：

9、多视角采集真实目标物体的等比例模型的图像，并作为初始模板图像；

10、将所述初始模板图像的相机采集视角离散为立方体空间；

11、对所述立方体空间进行逐层划分以及逐层模板匹配得到中间模板图像；

12、将采集的真实目标物体的当前帧图像与所述中间模板图像进行模板匹配得到最终模板图像；

13、基于所述最终模板图像的相机位姿信息，将所述等比例模型注册到所述真实目标物体中得到所述真实目标物体的虚拟替身。

14、可选地，所述对所述立方体空间进行逐层划分以及逐层模板匹配得到中间模板图像包括：

15、将所述立方体空间等比例划分为多个相同的立方体；每个所述立方体内包含多个相机视点；

16、在每个立方体内选取一个最接近该立方体中心位置的视点作为代表视点；

17、将所述代表视点对应的初始模板图像与采集的真实目标物体的当前帧图像进行相似度匹配；

18、基于相似度匹配结果确定下一层的相机视点及对应的初始模板图像；

19、基于下一层的相机视点对应的立体空间继续等比例划分为多个立方体；

20、将每层的最小立方体的视点数量与预设视点数量进行比较；

21、若小于或等于所述预设视点数量时，则停止划分；

22、将最后空间中代表视点所在立方体内的所有视点对应的初始模板图像确定为中间模板图像。

23、可选地，所述将采集的真实目标物体的当前帧图像与所述中间模板图像进行模板匹配得到最终模板图像包括：

24、提取中间模板图像的梯度特征以及真实目标物体的当前帧图像的梯度特征；

25、利用两者的梯度特征分别生成二进制特征描述符；

26、将两者的二进制特征描述符进行相似度比较得到匹配度；

27、将所述匹配度与预设匹配度进行比较；

28、在大于或等于所述预设匹配度的中间模板图像中选择匹配度最大的中间模板图像确定为最终模板图像。

29、可选地，所述多视角采集真实目标物体的等比例模型的图像包括：

30、采用半球面分布采样视点或全球面分布采样视点采集真实目标物体的等比例模型的图像。

31、可选地，当所述真实目标物体所在场景视角发生变化时，所述方法还包括：

32、采集真实目标物体的连续帧图像；

33、提取所述连续帧图像中各帧的角点及角点描述子；

34、将相邻两帧图像的角点描述子进行匹配；

35、计算匹配成功的角点数量；

36、将匹配成功的角点数量与预设角点数量进行比较；

37、若大于或等于所述预设角点数量，则对匹配的角点进行筛选；

38、基于筛选的角点重新计算相机位姿信息；

39、基于重新计算的相机位姿信息对所述虚拟替身进行跟踪注册；

40、若小于所述预设角点数量，则重新进行模板匹配。

41、可选地，所述计算匹配成功的角点数量包括：

42、计算相邻两帧图像中的角点描述子相似度；

43、将所述描述子相似度与预设相似度阈值进行比较；

44、若大于或等于所述预设相似度阈值，则匹配成功。

45、可选地，所述基于两者的深度值确定所述虚拟物体与所述真实目标物体的虚实遮挡关系包括：

46、将所述遮挡区域图像划分为多个片元；

47、对每个片元对应的虚拟替身与虚拟物体的深度值进行比较；

48、将深度比较结果中小的深度值写入深度缓冲区；并将所述小的深度值对应的颜色值写入颜色缓冲区；

49、基于所述深度缓冲区的深度值确定所述虚拟物体与所述真实目标物体的虚实遮挡关系；

50、对应地，所述基于所述虚实遮挡关系及颜色值基于所述虚实遮挡关系及颜色值对消隐后的真实目标物体绘制虚实融合场景包括：

51、基于所述虚实遮挡关系及所述颜色缓冲区的颜色值对消隐后的真实目标物体绘制虚实融合场景。

52、第二方面，提供一种虚实遮挡关系处理装置，所述装置包括：

53、第一确定单元，用于基于预设的模板匹配规则确定真实目标物体的虚拟替身；

54、消隐单元，用于对所述虚拟替身进行消隐；

55、获取单元，用于获取与所述真实目标物体发生遮挡的虚拟物体在遮挡区域的深度值、颜色值及对应遮挡区域的虚拟替身的深度值、颜色值；

56、第二确定单元，用于基于两者的深度值确定所述虚拟物体与所述真实目标物体的虚实遮挡关系；

57、绘制单元，用于基于所述虚实遮挡关系及颜色值对消隐后的真实目标物体绘制虚实融合场景。

58、第三方面，提供一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

59、存储器，用于存放计算机程序；

60、处理器，用于执行存储器上所存放的程序时，实现第一方面任一所述的方法步骤。

61、第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现第一方面任一所述的方法步骤。

62、第五方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行第一方面任一所述的方法步骤。

63、本发明实施例的有益效果是：本发明提供一种虚实遮挡关系处理方法，该方法基于预设的模板匹配规则确定真实目标物体的虚拟替身；对虚拟替身进行消隐；获取与真实目标物体发生遮挡的虚拟物体在遮挡区域的深度值、颜色值及对应遮挡区域的虚拟替身的深度值、颜色值；基于两者的深度值确定虚拟物体与真实目标物体的虚实遮挡关系；基于虚实遮挡关系及颜色值对消隐后的真实目标物体绘制虚实融合场景。本技术通过虚拟替身替代真实目标物体来处理虚实遮挡问题，由于虚拟替身不会受到其他因素干扰，在任何情况下都能保持其参数不变，因此使得在场景视角发生变化时，依然能够保证正确的虚实遮挡关系，提高虚实遮挡关系处理准确率，并且采用分层模板匹配策略来确定虚拟替身，大大减少了计算量。

64、当然，实施本技术的任一产品或方法并不一定需要同时达到以上所述的所有优点。