一种基于方向向量的线结构光平面快速标定方法

1.本发明涉及一种基于方向向量的线结构光平面快速标定方法，属于非接触测量技术领域。


背景技术：

2.海洋探测是人类海洋活动的关键技术，海洋探测获得信息的精确度和直观性极大的影响人类对海洋的认识和开发。目前海洋探测中主要依赖声学和光学两种探测方式，声学探测因其探测范围大、效率高等优点得到了广泛应用。然而，现有声学探测方法普遍具有成像质量差、对比度低、边缘模糊等缺陷，且容易受换能器波束旁瓣效应等影响，平台运动时与水流间的摩擦噪声及自身机械噪声也会对其产生干扰。目前针对声学探测的研究主要集中在提高水下目标的检测识别精度上，现有方法及研究仍不能有效够弥补声学探测精度较低的缺陷。随着海洋探测的要求不断提高，亟需更高效、精准的水下探测技术方法。
3.线结构光视觉探测系统不仅结构简单，而且测量精度高、成像结果直观性强，其在近距离精细化探测工况下极具优势。线结构光研究主要关注如何通过提高系统标定精度或激光中心线提取精度来提高测量精度。线结构光三维成像系统主要依靠激光发射器，高清摄像机两部分进行测量，因此系统标定主要包含两个方面：1.摄像机内外参数标定；2.结构光平面的标定。目前针对摄像机内外参数标定已有的张正友标定法成本较低、精度较高、灵活性强、适合用于摄像机的现场标定。
4.线结构光光平面的标定方法主要有细丝散射法、齿形靶标法、基于交比不变的方法、一步标定法等。细丝散射标定方法通过采集激光平面投射在几根不共面细丝上的亮点，并利用坐标仪器测出亮点在空间中的坐标值进行标定。该法需借助电子经纬仪等昂贵的设备，且标定点获取数量较少，过程较为复杂；齿形靶标法通过求解迭代方程并结合罚函数约束得到相应参数完成线结构光传感器的标定。但是该方法要求靶标与光平面呈一个特殊位置，且获得标定点较少，调整复杂，不适用于现场快速标定；基于交比不变原理的结构光平面标定方法精度较高能够适用于现场标定，但对于靶标的要求较高，一次获取的标定点数量较少；一步标定法其标定过程类似于一种黑箱模型，该方法需要通过索引表建立二维坐标与三维坐标之间的关系，十分繁琐。另外有学者提出一种共线点快速标定法，该方法利用共线特征点之间的关系求解标定点坐标，比较巧妙，但该方法需要通过不断变换靶标完成标定，过程较为复杂，效率不高，扫描结果误差较大。
5.因此，当下急需解决如何提高激光扫描系统的标定精度及系统标定效率。


技术实现要素：

6.目的：为了克服现有技术中常见的结构光平面标定方法存在效率及精度较低等不足，本发明提供一种基于方向向量的线结构光平面快速标定方法，该方法无需求解靶标与摄像机之间的位置关系，降低了求解的复杂性。标定过程中对于靶标摆放姿态也没有特殊要求，且标定过程中无需更换靶标的位置，避免了由于移动靶标引起的标定误差，减少了操
作步骤，从而提升标定的精度和效率。
7.技术方案：为解决上述技术问题，本发明采用的技术方案为：
8.一种基于方向向量的线结构光平面快速标定方法，其步骤如下：
9.步骤1：结构光平面的缴光条纹与靶标表面相交，靶标呈台阶形，分为上表面s及下表面s
′
，每个平面上有三条相互平行的直线及一条斜线，所述斜线分别为l3、l3′
，直线l1、l2、l3、l4位于平面s上，直线l1′
、l2′
、l3′
、l4′
位于平面s
′
上，缴光条纹分别与靶标上表面s的直线l1、l2、l3、l4交于点a、b、c、d，下表面s
′
的直线l1′
、l2′
、l3′
、l4′
交于及点a
′
、b
′
、c
′
、d
′
。
10.步骤2：拍摄靶标表面的图像，获取带有激光条纹的靶标图像。
11.步骤3：分别从靶标图像中获取点a、b、c、d对应的激光条纹中点a、b、c、d像素坐标系下的坐标，点a
′
、b
′
、c
′
、d
′
对应的激光条纹中点a
′
、b
′
、c
′
、d
′
像素坐标系下的坐标。
12.步骤4：将点a、b、c、d像素坐标系下坐标和点a
′
、b
′
、c
′
、d
′
像素坐标系下坐标均转换到图像坐标系下坐标。
13.步骤5：在靶标平面上以o
t
为原点定义世界坐标系，以l1方向为x轴，z轴与x-y平面垂直，过点c做一条平行于x轴的直线，则设四条直线与y轴的交点分别为ay、by、cy、dy，且ay、by、cy、dy的y坐标分别为ya、yb、yc、yd；在靶标平面上以o
t
为原点定义世界坐标系，以l1′
方向为x轴，z轴与x-y平面垂直，过点c
′
做一条平行于x轴的直线，则设四条直线与y轴的交点分别为ay′
、by′
、cy′
、dy′
，且ay′
、by′
、cy′
、dy′
的y坐标分别为ya′
、yb′
、yc′
、yd′
。
14.步骤6：根据不变交比r(a，b，c，d)＝r(a，b，c，d)，由于点a、b、c、d图像坐标系下坐标已知，可得r(a，b，c，d)；由于ya、yb、yd的值已经由靶标上的平行线l1、l2、l4间隔位置确定，根据r(a，b，c，d)可得yc的值；同理，可得y
′c的值。
15.步骤7：将点a、b、c、d图像坐标系下坐标和点a
′
、b
′
、c
′
、d
′
图像坐标系下坐标分别转换为相机坐标系下的坐标(xi，yi，f)，i＝a，b，c，d和坐标(xi′
，yi′
，f)，i＝a
′
，b
′
，c
′
，d
′
。
16.步骤8：以相机坐标系oc为原点，建立已知的四点a、b、c、d的方向向量为原点，建立已知的四点a、b、c、d的方向向量由于这四个向量位于同一平面内，在平面上以为x轴方向建立平面直角坐标系，原点o与相机坐标系原点oc重合；根据方向向量重合；根据方向向量点a、b、c、d对应的ya、yb、yc、yd，求得点a、b、c、d在相机坐标系下的三维坐标值xa′
、xb′
、xc′
、xd′
；同理，根据方向向量占a
′
、b
′
、c
′
、d
′
对应的ya′
、yb′
、yc′
、yd′
，求得点a
′
、b
′
、c
′
、d
′
在相机坐标系下的三维坐标值xa″
、xb″
、xc″
、xd″
。
17.步骤9：从a、b、c、d、a
′
、b
′
、c
′
、d
′
的8个点中，选择非共线的三点的相机坐标系下的三维坐标值对结构光平面方程进行标定，即可获得标定系数。
18.作为优选方案，靶标图像中激光条纹上点在像素坐标系下的坐标获取方法，包括如下步骤：
19.以靶标图像一角为原点o
p
，靶标图像长度边缘为u轴，宽度边缘为v轴，以像素为单位逐行对靶标图像进行扫描，得到激光条纹上每个像素点的激光条纹截面图。所述激光条纹截面图中纵坐标表示该点灰度值的高低，横坐标代表该点的像素值。
20.从激光条纹截面图中提取激光条纹上点的像素对应的列数作为u轴坐标，根据激光条纹上点对应的行数作为v轴坐标，以此类推，获得激光条纹上每个点在像素坐标下的v
轴坐标、u轴坐标。
21.作为优选方案，所述激光条纹截面图经过滤波处理。
22.作为优选方案，从激光条纹截面图中提取激光条纹上点的像素方法，包括如下步骤：
23.利用极值法获取激光条纹截面图中波峰。
24.在激光条纹截面图中剔除小于等于阈值的波峰，获得最终的波峰。
25.将最终的波峰的几何中心点的像素作为激光条纹上点的像素。
26.作为优选方案，所述阈值设置为灰度值的最大类间方差。
27.作为优选方案，像素坐标系上二维点坐标(u，v)转换到图像坐标系上坐标(x，y)，如下式所示：
28.x＝(u-u0)dx
29.y＝(v-v0)dy
30.其中，(u0，v0)为图像坐标系原点在像素坐标系下的坐标，dx、dy为单位像素在x轴，y轴方向的物理长度。由于图像坐标系的x轴，y轴分别与相机坐标系中xc轴，yc轴平行，所以图像坐标系的x轴，y轴上的坐标值就等于相机坐标系中xc轴，yc轴上坐标值。
31.作为优选方案，靶标的尺寸为：长240mm，宽60mm，两表面高度相差30mm；靶标上各线的相对位置关系已知，l1、l2、l4、l1′
、l2′
、l4′
之间相互平行，各直线沿靶标长度方向的距离分别为：dl1l2＝60mm、dl2l4＝180mm、dl1′
l2′
＝120mmdl2′
l4′
＝120mm，l3，l3′
的斜率均为1。
32.作为优选方案，
33.其中，r为交比。
34.作为优选方案，根据方向向量点a、b、c、d对应的ya、yb、yc、yd，求得点a、b、c、d在相机坐标系下的三维坐标值xa′
、xb′
、xc′
、xd′
方法，包括如下步骤：
35.求取夹角θ1、θ2、θ3，计算公式如下：
[0036][0037]
求取方向向量同一平面内ab、bc、cd在y轴上对应的距离d1、d2、d3，计算公式如下：
[0038]
d1＝y
a-yb，d2＝y
b-yc，d3＝y
c-yd。
[0039]
根据正弦定理有：
[0040][0041]
其中，θ5为ac与oc的夹角。
[0042]
以点a向x轴作垂线，交点为h，在直角三角形ach中，bc/ac＝d2/(d1 d2)，联立上式，可得：
[0043][0044]
式中，仅θ5为未知项，可以根据反三角函数求解出θ5。
[0045][0046]
在三角形ach中，||ac||＝(d1 d2)/sinθ5，联立上式：
[0047][0048]
求得点d与原点o的空间物理距离后，其在相机坐标系下的三维坐标值可表示为：
[0049][0050]
同理，可以根据几何关系求得点a、b、c在相机坐标系下的三维坐标值xa′
、xb′
、xc′
。
[0051]
作为优选方案，所述结构光平面在相机坐标系下的方程为：
[0052]
a1xc a2yc a3zc a4＝0
[0053]
其中，(xc,yc,zc)代表结构光平面上的点在相机坐标系下的三维坐标值，a1、a2、a3、a4为标定系数。
[0054]
有益效果：本发明提供的一种基于方向向量的线结构光平面快速标定方法，其优点如下：
[0055]
(1)、该方法在保证较高的探测精度的前提下，设计了一种结构简单的三维靶标，通过一次放置扫描即可完成结构光平面的标定，提高标定效率同时避免移动靶标引起标定误差。
[0056]
(2)、该方法在标定过程中对于靶标的摆放姿态没有特殊要求，无需求解靶标与摄像机之间的位置关系，大大降低了求解过程的复杂性。
[0057]
(3)、该方法在标定结构光平面的过程中还可以同步完成位移平台在摄像机坐标系下的各个自由度位移速度标定，降低了系统误差的影响，提高了测量系统的标定效率和精度。
附图说明
[0058]
图1为图像滤波效果对比示意图。
[0059]
图2为中心点提取示意图。
[0060]
图3为像素坐标系、图像坐标系和相机坐标系三者关系图。
[0061]
图4为靶标示意图，其中(a)为标靶结构，(b)靶标反射光带。
[0062]
图5为结构光平面特征点a、b、c、d标定示意图。
[0063]
图6为求解标定几何模型示意图。
具体实施方式
[0064]
下面结合具体实施例对本发明作更进一步的说明。
[0065]
一种基于方向向量的线结构光平面快速标定方法，具体包括以下步骤：
[0066]
步骤一：拍摄水下靶标表面的图像，获取带有激光条纹的靶标图像。
[0067]
步骤二：以靶标图像一角为原点o
p
，靶标图像长度边缘为u轴，宽度边缘为v轴，以像素为单位逐行对靶标图像进行扫描，得到激光条纹上每个像素点的激光条纹截面图，对激光条纹截面图进行滤波，得到滤波后的激光条纹截面图。
[0068]
步骤二中，标定过程中，为取得较为准确的标定参数，使用的靶标图像应尽可能清晰，以便获得更加准确的特征点。实际使用时，所获图像的清晰度受到水体浑浊度等多方面影响，需要根据不用的工况选取合适的技术手段进行优化，图像处理效果的好坏直接影响测量精度。图像处理技术并不是本发明的重点，因此过程所使用的图像均较为清晰，对于图像所做的处理工作包括高斯滤波处理，目的是剔除较为明显的噪声点，该方法虽效果有限但是并不影响对于测量精度的验证，使用更加专业的图像处理方法将使扫测精度在现有基础上进一步提高。
[0069]
使用高斯滤波方法对激光条纹的靶标图像进行滤波时，并不是对整幅图像进行处理，而是逐行选取靶标图像进行处理。激光条纹截面图由图像某一行的像素组成，其横坐标代表像素点的水平方向位置，纵坐标数值反映每个像素点的色彩强度。经过高斯滤波前后的激光条纹截面图对比如图1所示，可见经过滤波后，下方的图像的灰度值分布曲线在趋势不变的情况下，波形更加平滑，且噪声点被减弱甚至消除。
[0070]
从激光条纹截面图中提取激光条纹上点的像素对应的列数作为u轴坐标，根据激光条纹上点对应的行数作为v轴坐标，以此类推，获得激光条纹上每个点在像素坐标下的v轴坐标、u轴坐标。
[0071]
步骤三中，结合阈值法、极值法或者几何中心法进行结构光中心线的提取。如图2所示，激光条纹截面图中纵坐标表示该点灰度值的高低，通常情况下，激光条纹中心即灰度值较高的像素点数量较少，折射及散射作用形成的噪声点光强受到能量耗散作用影响，其在截面图中的峰值一般小于最大峰值。极值法用于寻找波峰所在位置，经过滤波处理后，仍未消除的噪声峰值易被错误识别为条纹中心，如图3中的波峰值2，这些低峰可以通过设立阈值的方式进行剔除。本文所使用的阈值由大津法选取，该方法将灰度值的最大类间方差确定为阈值。
[0072]
此外，经过滤波后，能量峰值呈水平线段，该线段表示投射于物体表面的激光条纹具有一定的宽度，极值法把激光条纹中心锁定于该宽度范围内，可将该局部范围的几何中心点作为激光条纹中心线像素坐标用于后续计算。
[0073]
步骤四：将缴光条纹上每个点在像素坐标uo
p
v下的v轴坐标、u轴坐标转换到图像
坐标系xo0y上，再将图像坐标系xo0y上的点转换到相机坐标系o
c-xcyczc下。
[0074]
如图3所示，o
c-xcyczc、o
0-xy、o
p-uv分别为相机坐标系、图像坐标系与像素坐标系。oc、oco0分别为摄像机光心与焦距。图像坐标系与像素坐标系均位于像平面上，忽略工业误差的影响，o0位于摄像机光轴上。结构光平面π与靶标表面相交形成线性光斑,线性光斑ab上一点p在图像坐标系、像素坐标系、相机坐标系下的齐次坐标分别为：p[x y 1]
t
、p[u v 1]
t
、pc[x
c y
c z
c 1]
t
。根据透视投影原理，空间点p各坐标系下的齐次坐标间的转换关系为:
[0075][0076][0077]
式中：f为摄像机的焦距，(u0，v0)为图像坐标系原点在像素坐标系下的坐标，dx、dy为单位像素在x轴，y轴方向的物理长度。
[0078]
像素坐标系上二维点坐标(u,v)转换到图像坐标系上坐标(x,y)，如下式所示：
[0079][0080]
其中，(u0，v0)为图像坐标系原点在像素坐标系下的坐标，dx、dy为单位像素在x轴，y轴方向的物理长度。由于图像坐标系的x轴，y轴分别与相机坐标系中xc轴，yc轴平行，所以图像坐标系的x轴，y轴上的坐标值就等于相机坐标系中xc轴，yc轴上坐标值。
[0081]
步骤五：本发明设计了一种高精度三维靶标，如图4-(a)所示，该靶标结构形式简单，靶标呈台阶形，分为上表面s及下表面s
′
，每个平面上有三条相互平行的直线及一条斜线，直线l1、l2、l3、l4位于平面s上，直线l1′
、l2′
、l3′
、l4′
位于平面s
′
上。假设结构光平面的缴光条纹与靶标表面相交，分别交上表面s及下表面s
′
于点a、b、c、d及点a
′
、b
′
、c
′
、d
′
，所得的光带形式如图4-(b)所示。点a、b、c、d及点a
′
、b
′
、c
′
、d
′
分别确定一条经过结构光平面的直线。因此在一次标定过程中，可以获得结构光平面上的两条平行直线上的多个非共线标定点，通过标定以上两条不重合的平行直线，即可完成结构光平面参数的标定。
[0082]
该靶标的尺寸为：长240mm，宽60mm，两表面高度相差30mm。靶标上各线的相对位置关系已知，l1、l2、l4、l1′
、l2′
、l4′
之间相互平行，各直线沿靶标长度方向的距离分别为：dl1l2＝60mm、dl2l4＝180mm、dl1′
l2′
＝120mm、dl2′
l4′
＝120mm，l3，l3′
的斜率均为1。
[0083]
如图4-(a)所示，在靶标平面上以o
t
为原点定义世界坐标系，以l1方向为x轴，z轴与x-y平面垂直。标定过程中结构光平面π与靶标表面相交，在靶标平面上表面s上形成四个交点a、b、c、d，摄像机成像平面上对应产生四个像点a、b、c、d，该成像模型的透视投影关系如图5所示。
[0084]
过点c做一条平行于x轴的直线，则设四条直线与y轴的交点分别为ay、by、cy、dy，且ay、by、cy、dy的y坐标分别为ya、yb、yc、yd根据透视投影的交比不变性原理有：
[0085]
[0086]
由于四个像点a、b、c、d是靶标图像上缴光条纹上的点，所以四个像点的像素坐标就可以获得，再将四个像点的像素坐标转换到图像坐标系，即可获得ca、cb、da、db值，从而获得交比r。
[0087][0088]
联立式(4)、(5)可得：
[0089][0090]
点c与点cy有相同的y轴坐标值，上式中ya、yb、yd的值已经由靶标上的平行线l1、l2、l4间隔位置确定了，交比r可以通过图像上的像点之间的距离唯一确定，因此联立上式可求出唯一未知量yc，并确定c点在直线l3上的位置。
[0091]
像面上像点a，b，c，d在相机坐标系下的坐标可以设为(xi，yi，f)(i＝a，b，c，d)，其中xi＝(u
i-u0)dx，yi＝(v
i-v0)dy。同时，以相机坐标系oc为原点，可以建立已知的四点a、b、c、d的方向向量由于这四个向量位于同一平面内，将该平面记为t。在该平面上以为x轴方向建立平面直角坐标系，原点o与相机坐标系原点oc重合，如图6所示。
[0092]
各向量之间的夹角分别为θ1、θ2、θ3，由向量积定义可得：
[0093][0094]
式(6)已经求出c点在直线l3上的确定位置yc，则图6中d1＝y
a-yb，d2＝y
b-yc，d3＝y
c-yd可以求得。只要求出a、b、c、d四点距离点o的物理距离，即可根据方向向量确定a、b、c、d四点在相机坐标系下的坐标。根据正弦定理有：
[0095][0096]
直角三角形ach中，bc/ac＝d2/(d1 d2)，联立上式，可得：
[0097][0098]
式中，仅θ5为未知项，可以根据反三角函数求解出θ5，特殊情况下当直线ad平行于y轴时，即θ5＝π/2时，该方法仍适用。
[0099][0100]
在三角形ach中，||ac||＝(d1 d2)/sinθ5，联立上式：
[0101][0102]
求得点d与原点o的空间物理距离后，其在相机坐标系下的三维坐标值可表示为：
[0103][0104]
同理，可以根据几何关系求得点a、b、c在相机坐标系下的三维坐标值xa′
、xb′
、xc′
。
[0105]
同理，重复以上方法，可获得点a
′
、b
′
、c
′
、d
′
在相机坐标系下的三维坐标值xa″
、xb″
、xc″
、xd″
。
[0106]
步骤六：从a、b、c、d、a
′
、b
′
、c
′
、d
′
的8个点中，选择非共线的三点的相机坐标系下的三维坐标值对结构光平面方程进行标定，即可获得标定系数。上述方法经过一次测量，即可完成结构光平面的标定。
[0107]
结构光平面在相机坐标系下的方程为：
[0108]
a1xc a2yc a3zc a4＝0
ꢀꢀꢀ
(13)
[0109]
其中，(xc，yc，zc)代表结构光平面上的点在相机坐标系下的三维坐标值，a1、a2、a3、a4为标定系数。
[0110]
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。