三维重建方法、设备、系统及存储介质与流程

本技术实施例涉及三维测量，尤其涉及一种三维重建方法、设备、系统及存储介质。

背景技术：

1、双目三维重建是利用两个摄像头同时获取的图像信息来恢复三维场景的几何结构和深度信息的过程。双目系统一般可分为被动式和主动式，被动双目重建不需要特殊的光源或投影设备，只需利用普通的摄像头即可进行，但是在复杂场景或纹理较少的区域精度较低，且易受环境光干扰，计算复杂度也较高。主动式双目重建借助特殊的光源或投影设备(如结构光、激光投影等)对场景进行投影或照射，在完成对场景图像光学解码后进行重建，精度较高且抗环境干扰能力较强。

2、常见的结构光编码为格雷码和多频相移。格雷码编码方式的精度取决于最细条纹的宽度，在实际应用中，过细的条纹易受干扰，最终导致解码的失败，因此单纯格雷码的方式点云密度和精度有限。多频相移编码方式虽以较粗的条纹得到较高的点云密度，但正弦条纹仍易受环境光干扰，导致解相失败。

3、因此，有必要提出一种精度较高、点云密度较高且不易受环境光干扰的三维重建方法。

技术实现思路

1、本技术实施例的一个目的旨在提供一种三维重建方法，以解决当前结构光重建技术中易受环境干扰、精度与点云密度不够高的技术问题。

2、在第一方面，本技术实施例提供一种三维重建方法，包括：

3、获取由所述投影设备向所述目标场景进行投影而产生的投影图像，所述投影图像包括格雷码投影图像、格雷码补码投影图像以及高频反相投影图像，所述高频反相投影图像包括多组黑白条纹，所述格雷码图像与所述格雷码补码图像用于确定多组所述黑白条纹边沿跳变的周期；

4、根据所述格雷码投影图像、格雷码补码投影图像以及高频反相投影图像，进行左右同码跳变匹配，以确定左右视图跳变匹配点；

5、基于所述左右视图跳变匹配点，进行三角测量，以生成所述目标场景对应的三维点云。

6、结合第一方面，作为一种可行的实施方式，在获取所述投影设备向所述目标场景进行投影而产生的投影图像之前，所述方法还包括：

7、确定图案序列，所述图案序列包括格雷码图案序列、格雷码补码图案序列以及高频反相图案序列，所述格雷码图案序列与所述；

8、按照所述图案序列，控制所述投影设备向所述目标场景进行投影，以采集所述格雷码投影图像、格雷码补码投影图像以及高频反相投影图像。

9、结合第一方面，作为一种可行的实施方式，所述确定图案序列包括：

10、确定所述投影设备的分辨率；

11、根据所述投影设备的分辨率以及预设格雷码位数，确定所述格雷码图案序列，所述格雷码位数与所述格雷码投影图像中的最小条纹宽度对应；

12、根据所述格雷码图案序列，确定所述格雷码补码图案序列。

13、结合第一方面，作为一种可行的实施方式，所述高频反相图案序列包括多组黑白条纹，所述方法还包括：

14、确定所述格雷码补码对应的周期总数，以及所述格雷码补码图案序列的条纹宽度；

15、根据预设黑白条纹边沿跳变总数，以及所述格雷码补码对应的周期总数，确定所述黑白条纹的组数；

16、根据所述格雷码补码图案序列的条纹宽度，确定所述高频反相图案序列的条纹宽度；

17、根据所述黑白条纹的组数，以及所述条纹宽度，确定所述高频反相图案序列。

18、结合第一方面，作为一种可行的实施方式，所述三维重建系统还包括左相机与右相机，所述左相机与右相机分别用于采集左视图与右视图，所述根据所述格雷码投影图像、格雷码补码投影图像以及高频反相投影图像，进行左右同码跳变匹配，以确定左右视图跳变匹配点，包括：

19、在所述高频反相投影图像中确定黑白边沿跳变的亚像素位置；

20、在所述格雷码投影图像、格雷码补码投影图像以及高频反相投影图像中分别确定所述亚像素位置对应的码值；

21、根据所述码值，在所述左视图中确定每个黑白边沿跳变的亚像素位置；

22、通过极线约束，在所述右视图中确定与所述左视图中每个黑白变压跳变的亚像素位置对应的对应点所在直线；

23、基于所述对应点所在直线，确定黑白边沿跳变码值一致的黑白边沿跳变亚像素位置，进行匹配，得到所述左右视图跳变匹配点。

24、结合第一方面，作为一种可行的实施方式，所述高频反相投影图像包括多个黑白条纹组，每个所述黑白条纹组包括目标图像与反相图像，所述目标图像为黑白等宽相间的图案，所述反相图像为所述目标图像对应的反相白黑等宽相间的图案，所述在所述高频反相投影图像中确定黑白边沿跳变的亚像素位置，包括：

25、在所述高频反相图案投影图像中确定所述反相图像；

26、将所述反相图像进行作差处理，得到差值图像；

27、遍历所述差值图像的各个像素，确定左右差值相反的像素点为黑白边沿跳变的位置；

28、通过线性拟合，确定所述亚像素位置，所述亚像素位置的差值为0。

29、结合第一方面，作为一种可行的实施方式，所述在所述格雷码投影图像、格雷码补码投影图像以及高频反相投影图像中分别确定所述亚像素位置对应的码值，包括：

30、对所述格雷码投影图像与所述格雷码补码投影图像进行二值化处理；

31、根据所述亚像素位置，对二值化处理后的格雷码投影图像以及格雷码补码投影图像分别进行序列抽取，以确定格雷码与格雷码补码；

32、确定所述高频反相投影图像的黑白边沿跳变位置，以及所述格雷码中最小宽度条纹的黑白边沿跳变；

33、确定所述高频反相投影图像的黑白边沿跳变位置，与所述格雷码中最小宽度条纹的黑白边沿跳变是否对应；

34、若是，则确定所述格雷码补码为所述高频反相投影图像的码值；

35、若否，则确定所述格雷码为所述高频反相投影图像的码值。

36、在第二方面，本技术实施例提供一种电子设备，包括存储器及处理器，所述存储器连接至所述处理器，所述处理器用于执行存储在所述存储器中的一个或多个计算机程序，所述处理器在执行所述一个或多个计算机程序时，使得所述电子设备实现如上述第一方面任一项所述的方法。

37、在第三方面，本技术实施例提供一种三维重建系统，包括：

38、投影设备，用于向目标场景进行投影；

39、采集设备，包括左相机以及右相机，用于采集目标场景内的投影图像；

40、如上所述的电子设备，所述电子设备分别连接所述投影设备以及所述采集设备。

41、在第四方面，本技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如上述任一项所述的方法。

42、本技术实施例可以实现如下技术效果：

43、基于本技术实施例所提出的方法，鉴于单纯格雷码的方式点云密度和精度有限，而多频相移编码方式虽以较粗的条纹得到较高的点云密度，但正弦条纹仍易受环境光干扰，因此本技术实施例在实现三维重建时，结合格雷码与高频反相投影技术，分别向场景中投射格雷码投影图像、格雷码补码投影图像以及高频反相投影图像，从而根据三种投影图像进行左右同码的跳变匹配，共同确定出左右视图的跳变匹配点，最终基于左右视图跳变匹配点来进行三角测量，从而生成三维点云，克服了单纯格雷码以及单纯多频相移编码的缺陷。