基于系统固有几何约束的动态场景单目刚性物体三维重建方法

本发明涉及涉及一种基于系统固有几何约束的动态场景单目刚性物体三维重建方法，属于计算机视觉。

背景技术：

1、光学三维测量技术已广泛应用于工业检测、智能制造、逆向工程等领域。条纹图案轮廓测量法(fpp)因其成本低、高精度和高速而成为最流行的领域之一。fpp算法通过对场景进行空间或时间编码条纹照明，并从观测到的变形条纹中恢复深度信息。大部分fpp系统使用相移法解相位，使用格雷码解包裹相位，在静态测量中，这是一种优秀的处理方式。但涉及到运动物体的三维重建时，由于图像像素点无法对齐，将出现严重的解包裹错误，特别是在运动速度比较快的时候。

2、传统的相位展开方法可以分为两类:空间相位展开和时间相位展开。空间相位展开通过局部或全局优化，参考同一相位图上其他点的相位值来展开相位。由于噪声、表面反射率变化和其他因素的存在，其非常具有挑战性。时间相位展开投影额外的图片，不可避免的引入运动误差，不适用于高速运动的物体，虽然出现了一些减少投影图片数量的方法，但始终无法根除运动误差。近些年出现了引入额外的设备的方法，由于两个相机一个投影仪的系统约束是冗余的，可以作为解包裹的参考，但是这种方法增加了硬件的成本并且不可避免的引起测量视场的缩小。

3、如今，研究发现利用相机投影仪系统固定的几何约束可以在2pi范围内进行正确的相位展开，这种方法计算理想平面绝对相位与包裹相位的隐式数学关系，进行像素精度的解包裹。由于利用理想的相位图进行解包裹，具有很高的精度和鲁棒性，并且无需额外的投影图片和设备。但是，正确展开的深度范围有限，由条纹周期和相机投影仪夹角等因素决定，这两个参数不能随意修改，会引起系统精度下降。

4、因此，需要一种基于系统固有几何约束的动态场景单目刚性物体三维重建方法以解决上述问题。

技术实现思路

1、发明目的：针对现有技术所存在的问题，本发明提供一种基于系统固有几何约束的动态场景单目刚性物体三维重建方法。

2、一种基于系统固有几何约束的动态场景单目刚性物体三维重建方法，采用条纹投影系统，所述条纹投影系统包括一个相机和一个投影仪，所述相机和投影仪均正对待测物体，包括如下步骤：

3、一、设计编码条纹：利用所述投影仪对待测物体投影n步相移编码条纹，利用所述相机拍摄得到编码条纹图像；

4、二、利用sift算法提取当前帧图像和前一帧图像的特征点，利用前一帧图像的三维点云进行图像分割：取前一帧图像每个像素处的z坐标，求出每个像素处的梯度，梯度大于阈值t的点设置为不活动；

5、三、基于前一帧图像特征点的三维坐标以及条纹投影系统的标定参数，得到当前帧图像特征点的多个备选三维坐标；

6、四、利用前一帧图像特征点的三维坐标和当前帧图像特征点的多个备选三维坐标得到多个备选刚体运动矩阵，反投影得到优化的运动矩阵；

7、五、利用步骤四得到的优化的运动矩阵计算前一帧图像在当前帧图像的像素对应点；

8、六、重建当前帧图像的三维信息：将当前帧图像的包裹相位展开后结合条纹投影系统的标定参数得到当前帧图像的绝对相位，利用当前帧图像的绝对相位对当前帧图像的三维信息进行重建。

9、更进一步的，步骤一中n步相移编码条纹为3步相移编码条纹，其中，3步相移编码条纹通过下式表示：

10、

11、

12、

13、式中，（xp,yp）表示像素坐标，表示空间频率，ap表示背景光强，bp表示条纹图案的调制度，p代表投影仪。

14、更进一步的，步骤一中编码条纹图像的包裹相位通过下式计算得到：

15、

16、式中，和分别为3步相移编码条纹的亮度。

17、更进一步的，步骤三中备选三维坐标的数量为3个。

18、更进一步的，步骤三中对应像素坐标处的条纹级次k通过下式计算得到：

19、

20、式中，(x,y)为像素坐标，φmin表示最小相位图的绝对相位，φ为绝对相位，ceil表示向上取整操作。

21、更进一步的，步骤三中备选刚体运动矩阵通过下式计算得到：

22、

23、式中，r为旋转矩阵，t为平移矩阵，x1,y1,z1为前一帧图像的三维坐标，x2,y2,z2为当前帧图像的三维坐标。

24、更进一步的，步骤四中反投影得到优化的运动矩阵具体为：利用备选刚体运动矩阵由前一帧图像的三维点云得到当前帧图像对应的三维点云，使用条纹投影系统的标定信息得到当前帧图像三维点云的二维像素投影，计算当前帧图像的二维像素投影与sift算法得到的像素坐标之间的差异，误差最小的备选刚体运动矩阵作为优化的运动矩阵。

25、更进一步的，步骤五还包括异常值检测，所述异常值检测的规则包括梯度大于阈值t的区域被分割并设置为不活动以及条纹级次k值在坐标轴方向单调递增。

26、在处理前后，都进行异常值检测，主要分为两类，其一是梯度大的区域被分割，设置为不活动，其二为条纹级次k值在坐标轴方向单调递增或递减，从而防止迭代过程中误差的逐渐累积。

27、更进一步的，步骤六中将包裹相位展开得到绝对相位通过下式表示：

28、

29、式中，φ为绝对相位，(x,y)为像素坐标，k为整数，被称为条纹级次，为包裹相位值，f为条纹频率。

30、有益效果：本发明的基于系统固有几何约束的动态场景单目刚性物体三维重建方法无需投影额外的解包裹图片，从根源上消除了解包裹错误的问题。适用于所有类型的运动，并且相比其他方法，能够测量运动速度更快的物体。不需要其他的硬件支持，更适合于fpp领域。

技术特征：

1.一种基于系统固有几何约束的动态场景单目刚性物体三维重建方法，采用条纹投影系统，所述条纹投影系统包括一个相机和一个投影仪，所述相机和投影仪均正对待测物体，其特征在于，包括如下步骤：

2.如权利要求1所述的基于系统固有几何约束的动态场景单目刚性物体三维重建方法，其特征在于，步骤一中n步相移编码条纹为3步相移编码条纹，其中，3步相移编码条纹通过下式表示：

3.如权利要求1所述的基于系统固有几何约束的动态场景单目刚性物体三维重建方法，其特征在于，步骤一中编码条纹图像的包裹相位通过下式计算得到：

4.如权利要求1所述的基于系统固有几何约束的动态场景单目刚性物体三维重建方法，其特征在于，步骤三中备选三维坐标的数量为3个。

5.如权利要求1所述的基于系统固有几何约束的动态场景单目刚性物体三维重建方法，其特征在于，步骤三中对应像素坐标处的条纹级次k通过下式计算得到：

6.如权利要求1所述的基于系统固有几何约束的动态场景单目刚性物体三维重建方法，其特征在于，步骤三中备选刚体运动矩阵通过下式计算得到：

7.如权利要求1所述的基于系统固有几何约束的动态场景单目刚性物体三维重建方法，其特征在于，步骤四中反投影得到优化的运动矩阵具体为：利用备选刚体运动矩阵由前一帧图像的三维点云得到当前帧图像对应的三维点云，使用条纹投影系统的标定信息得到当前帧图像三维点云的二维像素投影，计算当前帧图像的二维像素投影与sift算法得到的像素坐标之间的差异，误差最小的备选刚体运动矩阵作为优化的运动矩阵。

8.如权利要求1所述的基于系统固有几何约束的动态场景单目刚性物体三维重建方法，其特征在于，步骤五还包括异常值检测，所述异常值检测的规则包括梯度大于阈值t的区域被分割并设置为不活动以及条纹级次k值在坐标轴方向单调递增。

9.如权利要求1所述的基于系统固有几何约束的动态场景单目刚性物体三维重建方法，其特征在于，步骤六中将包裹相位展开得到绝对相位通过下式表示：

技术总结本发明公开了一种基于系统固有几何约束的动态场景单目刚性物体三维重建方法，包括以下步骤：设计编码条纹；利用sift算法提取当前帧图像和前一帧图像的特征点，利用前一帧图像的三维点云进行图像分割；基于前一帧的三维坐标以及条纹投影系统的几何约束，得到备选三维坐标；利用前一帧特征点和当前帧特征点得到多个备选刚体运动矩阵，反投影得到优化的运动矩阵；利用优化的运动矩阵计算前一帧图像在当前帧图像的像素对应点；重建当前帧图像的三维信息。本发明无需投影额外的解包裹图片，从根源上消除了解包裹错误的问题。适用于所有类型的运动，并且相比其他方法，能够测量运动速度更快的物体。技术研发人员：刘鑫,于浩天,韩静,郑东亮,梁创受保护的技术使用者：南京理工大学技术研发日：技术公布日：2024/7/29