基于局部自适应条纹亮度的结构光三维测量方法及装置

本发明涉及人工智能，尤其涉及一种基于局部自适应条纹亮度的结构光三维测量方法及装置。

背景技术：

1、三维重建技术中非接触式测量方法具有测量速度快、重建点云稠密、精度尚佳等优点，有效克服了以坐标测量机(coordinate measuring machine，cmm)为代表的接触式测量方法对被测物体表面的损坏和测量缓慢、测量点有限的缺点。在众多非接触式测量方法中，主动三维测量技术作为光学测量领域中的常用方法，它采用一定的投射装置主动地向被测物体投射各类点、线或面形式的光信号，有效避免了被动测量如立体视觉等方法利用多个相机所拍摄图像中物体表面对应点特征匹配难的问题，并克服了被测物体表面纹理信息不丰富所导致的重建三维点云信息稀疏的问题等。

2、结构光三维重建技术作为工程中运用最为广泛的主动测量技术之一，具有分辨率高、精度高的优点，在工业检测、逆向工程、文物保护、刑事侦查等领域得到大量应用。但结构光三维重建技术目前还存在一些问题，其中亟待解决的问题之一是如何对表面具有高反光特性或表面反射率变化范围较大的物体进行准确测量。例如，对于一个反射率较高的被测物体表面区域，主动投射的结构光光束经过此区域反射到相机传感器时，此区域对应的图像像素值很容易产生饱和，导致经物体表面高度调制的结构光信息完全丢失，故此高反射率区域的重建结果将存在严重的点云缺失。

技术实现思路

1、本发明提供一种基于局部自适应条纹亮度的结构光三维测量方法及装置，用以解决现有技术中高反光被测物体表面三维重建不准确的技术问题。

2、第一方面，本发明提供一种基于局部自适应条纹亮度的结构光三维测量方法，包括：获取经物体表面调制的图像；所述经物体表面调制的图像包括相机拍摄的第一均匀亮度调制图像以及第一编码条纹调制图像；

3、获取所述第一均匀亮度调制图像中像素饱和区域所对应的投影仪像素的最佳投射灰度值，并基于所述第一编码条纹调制图像获取所述第一均匀亮度调制图像中各个像素饱和区域与投影仪投射平面对应区域之间的单应性关系；

4、基于所述单应性关系将所述最佳投射灰度值映射至投影仪投射平面的对应位置，得到区域自适应亮度编码条纹图像；

5、基于所述区域自适应亮度编码条纹图像获取物体表面的三维点云。

6、在一些实施例中，所述获取所述第一均匀亮度调制图像中像素饱和区域所对应的投影仪像素的最佳投射灰度值，包括：

7、获取所述第一均匀亮度调制图像的像素饱和区域信息；所述像素饱和区域信息包括所述第一均匀亮度调制图像的各个像素饱和区域位置信息以及各个像素饱和区域边沿的像素信息；

8、基于所述像素饱和区域信息并利用训练好的最佳投影亮度预测模型获取所述第一均匀亮度调制图像中像素饱和区域对应的投影仪像素的最佳投射灰度值。

9、在一些实施例中，所述获取所述第一均匀亮度调制图像的像素饱和区域信息，包括：通过对所述第一均匀亮度调制图像进行二值化处理提取所述第一均匀亮度调制图像中饱和像素所在的位置，得到第一饱和区域图像；

10、对所述第一饱和区域图像内部的孔洞进行填充，得到第二饱和区域图像；

11、对所述第二饱和区域图像进行中值滤波、区域膨胀和区域编号，得到所述第一均匀亮度调制图像的各个像素饱和区域位置信息。

12、在一些实施例中，所述获取所述第一均匀亮度调制图像的像素饱和区域信息，还包括：

13、提取所述第一均匀亮度调制图像中各个像素饱和区域的顺时针单像素边沿；

14、对所述顺时针单像素边沿进行链码编码；

15、剔除所述第一饱和区域图像中饱和像素点上的无效链码编码点，得到所述第一均匀亮度调制图像的各个像素饱和区域边沿的像素信息。

16、在一些实施例中，所述最佳投影亮度预测模型是通过以下步骤训练得到的：

17、获取第二均匀亮度调制图像，并计算所述第二均匀亮度调制图像中各个像素对应的最佳投射亮度真值；

18、输入第二均匀亮度调制图像像素亮度和投射亮度组合向量至最佳投影亮度预测模型中，得到最佳投射强度；所述最佳投影亮度预测模型为全连接层神经网络结构；

19、基于所述最佳投射强度和所述最佳投射亮度真值计算损失函数，并基于所述损失函数优化所述最佳投影亮度预测模型。

20、在一些实施例中，所述基于所述第一编码条纹调制图像获取所述第一均匀亮度调制图像中各个像素饱和区域与投影仪投射平面对应区域之间的单应性关系，包括：

21、基于所述第一编码条纹调制图和所述第一均匀亮度调制图像的像素饱和区域边沿像素的三维空间坐标，获取所述第一均匀亮度调制图像中各个像素饱和区域的像素位置与投影仪投射平面的像素位置之间的对应关系；

22、使用鲁棒估计算法并基于所述第一均匀亮度调制图像中各个像素饱和区域的像素位置与投影仪投射平面的像素位置之间的对应关系，获取单应性矩阵；所述单应性矩阵用于表征所述第一均匀亮度调制图像中的素饱和区域到投影仪投射平面的映射关系。

23、在一些实施例中，所述基于所述区域自适应亮度编码条纹图像获取物体表面的三维点云，包括：

24、通过投射所述自适应亮度编码条纹图像获取经物体表面调制的第二编码条纹调制图像；

25、将所述第二编码条纹调制图像进行解码和三角化，得到物体表面的完整三维点云。

26、第二方面，本发明提供一种基于局部自适应条纹亮度的结构光三维测量装置，包括：第一获取模块，用于获取经物体表面调制的图像；所述经物体表面调制的图像包括相机拍摄的第一均匀亮度调制图像以及第一编码条纹调制图像；

27、第二获取模块，用于获取所述第一均匀亮度调制图像中像素饱和区域所对应的投影仪像素的最佳投射灰度值，并基于所述第一编码条纹调制图像获取所述第一均匀亮度调制图像中各个像素饱和区域与投影仪投射平面对应区域之间的单应性关系；

28、第三获取模块，用于基于所述单应性关系将所述最佳投射灰度值映射至投影仪投射平面的对应位置，得到区域自适应亮度编码条纹图像；

29、第四获取模块，用于基于所述区域自适应亮度编码条纹图像获取物体表面的三维点云。

30、第三方面，本发明提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一方面所述的基于局部自适应条纹亮度的结构光三维测量方法。

31、第四方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述第一方面所述的基于局部自适应条纹亮度的结构光三维测量方法。

32、第五方面，本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的基于局部自适应条纹亮度的结构光三维测量方法。

33、本发明提供的基于局部自适应条纹亮度的结构光三维测量方法及装置，在获得相机拍摄的第一均匀亮度调制图像以及第一编码条纹调制图像后，获取第一均匀亮度调制图像中像素饱和区域所对应的投影仪像素的最佳投射灰度值，并基于第一编码条纹调制图像获取第一均匀亮度调制图像中各个像素饱和区域与投影仪投射平面对应区域之间的单应性关系，然后基于该单应性关系将获取的最佳投射灰度值映射至投影仪对应位置，得到区域自适应亮度编码条纹图像，最后基于所述区域自适应亮度编码条纹图像获取物体表面的三维点云，有效解决了结构光系统在测量高反光被测物体表面时容易出现的点云大面积丢失现象，提高了对高反光或反射率变化范围较大物体表面三维重建的精确度。