一种基于椭圆轮廓点筛选的圆孔位姿双目测量方法

本发明涉及一种图像测量方法，尤其是涉及了一种基于椭圆轮廓点筛选的圆孔位姿双目测量方法。

背景技术：

1、单目、双目视觉模型和三角测量原理，以及单目、双目视觉圆孔位姿测量技术和椭圆轮廓切线估计技术的研究现状。利用空间中几何特征在二维的投影构建其在三维中的精准位姿，是目标抓取、产品对接、自动驾驶各个领域的重要课题。高精度的圆孔位姿视觉测量在其中有着基础性作用。从原理上讲，视觉测量技术分为主动式视觉测量和被动式视觉测量。主动式视觉测量是指向待测量物体主动发射具有某种规律的结构光(例如点、条纹、散斑等)，相机拍摄的图片中包含了反射光信息和待测量物体信息，利用这些信息计算出待测量物体三维位置。主动式视觉测量精度高，但灵活性低、功耗大、应用场景受限，相比而言，被动式视觉测量完全依赖被动式的图像采集设备和环境光线，具有灵活性高、成本低、应用场景广泛等优势，已成为视觉测量技术的研究热点。

2、相比单目视觉测量，双目视觉测量不具有二义性，因此成为近年来的研究热点。一种思路是利用另一幅图像构造约束关系，排除单目视觉测量得到的假解。ma等在单目视觉的基础上，基于圆孔在二维平面的投影方程，计算出圆孔位姿的解析解，并结合两个相机坐标系间的位置关系，对重建出的圆孔施加几何约束，基于此来排除假解。xu等分别从左右两幅图像上用两次单目视觉估计圆孔位姿，在两组真假解中找到距离最近、法向量夹角最小的一组作为真解。并构造方程计算圆孔的半径。另一思路是直接利用双目视觉立体匹配对圆孔进行三维重建。liu等提出了圆的位姿估计的解析解。在未知半径等任何先验知识的情况下，利用两幅图像中椭圆方程和相机投影模型，得到圆孔的二次曲线方程，得到圆的空间位姿和半径。liu等以光心为原点建立特殊坐标系，在该坐标系上计算圆孔上的特殊弦，根据特殊弦计算圆孔所在平面的法向量，在此基础上计算消失线和圆心在左右图像上的投影，并通过立体匹配对圆心进行重建。peng等提出一种基于最大外轮廓识别的目标姿态测量方法，可以同时实现近距离和远距离的测量任务。另外，还有人通过提高图像质量来减小位姿测量误差，如张卫国利用基于深度学习的超分辨率重建模型提高了图像的分辨率，进而提升边缘提取的质量，在较低分辨率的情况下仍能获取高精度的圆孔位姿。在无法提升硬件设备时，降低检测成本，提高了精度。

3、总之，现有的基于双目视觉的圆孔位姿测量方法通常是利用两个单目视觉模型去解决单目视觉测量中的二义性问题，或者根据两幅图像分别与圆孔的投影关系建立方程组来求解圆孔位姿。但是，现有方法存在以下问题：1)在圆孔位姿测量过程中，受镜头畸变、光线和物体表面纹理影响，圆孔轮廓的边缘图像点会存在偏离实际投影点甚至圆孔边缘提取不成功的情况。另外，实际应用中还常出现圆孔部分被遮挡的情况。当出现这些情况时，将增加椭圆检测的误差，这些误差会在后续过程中被放大，进而影响位姿估计精度。2)椭圆检测本身会造成误差，现有方法对椭圆检测的精度依赖度高，椭圆拟合参数不够精准时会产生明显误差，圆孔位姿测量的精度和鲁棒性不足。3)在低分辨率下对空间圆的位姿估计方法的研究相对较少，低分辨率图像下现有方法大多精度不够，在实际应用中，常遇到图像采集设备分辨率不够高，或者需要输入小分辨率图像以提升运算速率的情况，现有方法往往难以满足实际运行速度要求。4)现有方法未能利用零件表面有多个共面圆孔的先验信息，计算复杂度较高，运行效率低，难以应用于对响应速度要求较高的场景。这限制了双目视觉圆孔位姿测量在实际工程中的应用。

技术实现思路

1、为了解决背景技术中存在的问题，本发明的目的在于提供一种基于椭圆轮廓点筛选的圆孔位姿双目测量方法，提高圆孔位姿测量的精度和稳定性。

2、本发明根据椭圆轮廓点位置分布构建极线束，在反向投影下构建视锥母线束，利用左右视锥母线相交的约束实现圆孔轮廓点的三维重建，并根据圆孔轮廓点计算圆孔各项参数。通过构建圆孔位姿优化模型，将圆孔位姿测量问题转化为椭圆轮廓点筛选问题，在算术优化算法中引入非线性边界策略，并利用其筛选椭圆轮廓点，提高圆孔位姿测量的精度和稳定性。

3、本发明基于椭圆轮廓点筛选的圆孔位姿双目测量方法，包括以下步骤：

4、步骤1)通过双目相机采集具有多个圆孔零件的图像，获取包含有椭圆元素的目标图像；

5、步骤2)计算左右图像上极点的坐标，并根据椭圆轮廓点位置分布构建极线束方程；

6、步骤3)融合反向投影与立体匹配的视锥母线束构建；

7、步骤4)考虑视锥母线相交约束的圆孔轮廓点三维重建；

8、步骤5)根据步骤4)得到的圆孔轮廓点集计算圆孔所在平面方程v、圆心位置o和圆孔半径r；

9、步骤6)引入动态权重的目标函数构建，实现椭圆轮廓点的筛选和圆孔位姿优化。

10、所述步骤2)具体为：

11、2.1)以双目视觉模型为基础，将世界坐标置于左相机坐标系上，左右图像上的极点e和e′的坐标如下：

12、e＝krtt

13、e′＝k′t

14、其中，k和k′分别为双目视觉模型中左右相机的内参矩阵，r和t分别表示世界坐标系和相机坐标系间的旋转和平移矩阵；

15、2.2)根据椭圆轮廓点位置分布得到极线束方程：

16、设左右图像中与椭圆轮廓相交的极线束分别为lp和l′p，其方程表示如下：

17、lp：

18、l′p：

19、其中，x,y分别表示x轴和y轴；xe,表示极线束方程在极点e的坐标；xe′,表示极线束方程在极点e′的坐标；和分别表示左图像中极点与椭圆轮廓p中的点的连线与x轴正向的最小夹角和最大夹角；和分别表示右图像中极点与椭圆轮廓p′中的点的连线与x轴正向的最小夹角和最大夹角。p为左图像上的椭圆轮廓点集，p′为右图像上的椭圆轮廓点集；遍历p中的所有点，求p中每个点与左极点ep连线的斜率的反三角函数，找到最大值和最小值同理，遍历p′可求出和

20、所述步骤3)具体为：

21、设圆孔轮廓上的某一点m在左右成像平面上的正向投影点分别为mp和m′p，左相机光心c和mp的连线即左视锥的视锥母线，右相机光心c′和m′p的连线即右视锥的视锥母线，两条视锥母线交于点m，称其为圆孔投影中的视锥母线相交约束。

22、根据步骤2)求得的极线束方程lp、l′p和椭圆轮廓p、p′，计算轮廓投影点和光心所在直线作为视锥母线：

23、3.1)遍历椭圆轮廓中所有点，获取p中与距离最小的椭圆轮廓点ki，由左图像中的n个椭圆求得n个ki，记为左图像上的候选交点集si；获取p′中与距离最小的椭圆轮廓点k′i，由右图像中的n个椭圆求得n个k′i，记为右图像上的候选交点集s′i；

24、其中，在本文中n＝3；

25、3.2)遍历候选交点集si，计算si中的点与多个椭圆极点间的距离，若距离最大值大于距离最小值的10倍，则将对应的点记入si1类，反之记入si2类；同理，将s′i分为s′i1、s′i2两类；

26、不失一般性，假设左极点e和右极点e′在c和c′的连线上，此时si1中的点与极点ep的距离小于si2中的点与极点ep的距离，s′i2中的点与极点e′p的距离小于s′i1中的点与极点e′p的距离。反之，如果距离最大值小于距离最小值的10倍，本文认为极线与椭圆轮廓有两个交点。

27、3.3)对于si1、si2中的任意一点sijk或s′i1、s′i2中的任意一点s′ijk，将其从图像坐标转化为三维相机坐标系中的坐标：

28、

29、

30、其中，zc表示相机坐标系下的z值，即相机坐标系与世界坐标系间的高度；x、y、z分别表示世界坐标系下的x轴、y轴、z轴；i表示候选交点集的数目；j＝1,2，分别表示步骤3.2)中距离最大值大于最小值10倍的情况和距离最大值小于最小值10倍的情况；k表示椭圆的数目；

31、3.4)连接sijk和左相机光心c，得到左视锥的视锥母线wijk；连接s′ijk和右相机光心c′，得到右视锥的视锥母线w′ijk；wijk和w′ijk的点向式方程如下：

32、wijk

33、w′ijk

34、根据像素点集si1、si2、s′i1、s′i2分别得到对应的视锥母线wi1、wi2、w′i1、w′i2；其中，wijk∈wi1、wi2，w′ijk∈w′i1、w′i2。

35、所述步骤4)具体为：

36、4.1)遍历wi1与w′i1中所有视锥母线，利用视锥母线相交约束求出min{d(wi1k，w′i1k)}及其对应的两条母线和其中：

37、

38、式中，用和分别表示wi1k和w′i1k的方向向量；以wi1k和w′i1k两条异面直线间的距离d(wi1k，w′i1k)为评价误差大小的标准，距离越小，误差越小：

39、4.2)计算两条母线和的公垂线中点qi1，将其作为目标圆孔轮廓点：

40、qi1＝(u+u′)+(uc+u′c′)

41、

42、

43、式中，(·)+代表广义逆矩阵；

44、4.3)采用步骤4.1)和4.2)的方法求出视锥母线wi2与w′i2对应的目标圆孔轮廓点qi2；从而得到由2m个目标圆孔轮廓点组成的点集q＝{q11，q21...qm1，q12，q22，...qm2}。

45、所述步骤5)具体为：

46、5.1)使用最小二乘法将点集q拟合成平面v，使用矩阵形式表示为：

47、

48、式中，(xi，yi，zi)表示三维空间中的坐标，i＝1，2......2m；表示m个点的重心；a2+b2+c2＝1；

49、目标函数为min||wx||，其中，||*||表示2范数，||x||＝1；使用非迭代的奇异值分解(svd)方法求解拟合平面v：

50、w＝u∑vt；x＝v的最后一列

51、从而得到空间平面方程v：ax+by+cz+d＝0，a、b、c、d为平面方程的参数。

52、5.2)获取点集q中每个点qi到拟合平面v的投影qi′，qi表示为(xi，yi，zi)，投影点qi′表示为(xi′，yi′，zi′)，q′i∈q′；基于向量与平面v的法向量v⊥平行的性质得到以下关系：

53、

54、5.3)将点集q′在平面v上进行拟合得到圆。

55、5.3.1)确定圆心位置，并对其进行优化

56、定义圆心坐标o(x0，y0，z0)，在点集q′中取两点q1′(x1，y1，z1)和q2′(x2，y2，z2)，则q1′与q2′连线向量表示为(x2-x1，y2-y1，z2-z1)，q1′与q2′连线中点坐标q12′为圆心o与q12′连线向量表示为

57、由于q1′与q2′均在以o为圆心的圆上，则满足即：

58、δx12x0+δy12y0+δz12z0-l1＝0   (1)

59、其中，δx12＝x2-x1，δy12＝y2-y1，δz12＝z2-z1，

60、遍历点集q′中任意两点，根据上式(1)的计算过程得到任意两点对应的等式，将所有等式进行整理得到：

61、

62、即为bo＝l2；

63、其中，b是n(n-1)/2×3的矩阵，l2是n(n-1)/2维向量；

64、当n≥4时，该方程组是超定的。由于圆心o满足使用拉格朗日乘子法进行求解，具体为：

65、

66、其中，λ为拉格朗日算子；对f(o)关于o和λ求导，并令导数值为0，整理得到：

67、

68、5.3.2)根据点集q′到圆心o距离的平均值确定圆孔的半径：

69、

70、其中，d(*，*)表示两点间的欧氏距离。

71、所述步骤6)具体为：

72、定义目标函数f(q，v，c，r，θ)＝f(θ)，用于衡量圆孔位姿测量结果的好坏，并在约束条件下选择一组θ，使目标函数f(θ)达到最小值，实现圆孔位姿优化。而θ的选择实质上是对椭圆轮廓点的选择。

73、6.1)定义目标函数f(θ)，通过目标函数衡量圆孔位姿测量结果的好坏：

74、

75、其中，d(qi，qi′)表示圆孔轮廓点qi与其在拟合平面v上的投影点qi′间的距离，为衡量平面拟合效果的部分，距离越大表示平面拟合效果越差，距离越小表示平面拟合效果越好；理想情况下，qi正好在平面v上，此时d(qi，q′i)＝0。d(c，qi′)-r表示qi′与圆心的距离与半径的差，即qi′与圆曲线的距离，是衡量圆孔方程拟合的部分，理想情况下，qi′正好在曲线上，此时d(c，qi′)-r＝0，距离越大表示半径估计效果越差，距离越小表示半径估计效果越好。α和β是自定义加权参数，α+β＝1；可根据圆孔所在平面和圆孔方程的重要性不同动态地确定权重，在本文中α＝β＝0.5。

76、将圆孔位姿测量问题表示为寻优问题的标准形式：

77、

78、其中，d(e，f)表示e与f之间的距离，qi(θ)步骤4)求得的qi关于θ的函数；q′i(θ)步骤5)求得的q′i关于θ的函数；o(θ)，r(θ)为步骤5)求得的o和r关于θ的函数

79、其中，表示步骤2.2)中的取值范围；

80、6.2)基于算术优化的椭圆轮廓点筛选与圆孔位姿计算：

81、随机生成候选解矩阵θ：

82、

83、其中，θ是一个n×m的矩阵；n表示候选解的组数，m表示自变量的个数；

84、通过改进的算术优化算法从候选解矩阵θ中选择一组最佳的θ，即取得f(θ)为最小值，实现椭圆轮廓点的筛选和圆孔位姿优化；具体为：

85、定义一个分界线系数moa，公式如下：

86、

87、其中，g表示当前迭代的代数，gt表示最大迭代代数，当g>gt时，优化自动停止；min和max均为介于0和1间的数，且max>min；moa是关于g的线性函数；在min和max相同取值的情况下得到更小的moa，即smoa；而二次函数在0～1的取值范围内小于线性函数，所以在moa更新公式中加入由二次函数控制的非线性边界策略，改变算法全局搜索与局部探索的占比，并定义smoa为：

88、

89、通过加入迭代条件f(θ)<e，其中e为自定义的误差阈值；当迭代达到最大次数或者达到要求的误差值时迭代停止，以减少无效迭代；其中，e＝(0.1×2m)mm，2m表示重建出的圆孔轮廓投影点数。

90、本发明的有益效果：

91、本发明提出的圆孔位姿测量方法在圆心定位、法向量估计和半径估计的精度和稳定性上优于现有方法，并在高噪声下有更高的精度，同时还可在圆孔不完整时测量圆孔位姿。