视觉传感器快速标定方法

1.本发明涉及一种标定方法，尤其涉及一种视觉传感器快速标定方法。


背景技术：

2.机器人的智能化发展，是让机器人具有感知外界环境的能力、与操作人员相互协调工作的能力。机器人视觉就是利用机器视觉的原理，在图像信息中快速准确地获得外界环境信息，并反馈给机器人控制系统以做出快速反应。机器视觉应用于工业机器人，使得机器人可以根据图像处理反馈的外界信息的变化来对机器人操作进行调整，从而大大提高了机器人的环境适应性和灵活性。对于一个带有视觉的机器人系统，相机所获得的所有信息都是在相机坐标系下描述的。为了使得相机(即机器人的眼)与机器人(即机器人的手)坐标系之间建立关系就必须要对机器人与相机坐标系进行标定，该标定过程即手眼标定。手眼标定是机器人视觉中非常重要的一步，可以帮助机器人转换识别到的视觉信息，从而完成后续的控制工作。
3.现有的标定方法存在效率低，操作复杂，需要大量的时间，而且其最后的精确度难以得到保证。
4.因此，为了解决上述技术问题，亟需提出一种新的技术手段。


技术实现要素：

5.有鉴于此，本发明的目的是提供一种视觉传感器快速标定方法，能够对机器人以及相机组成手眼系统进行准确的标定，能够有效提高标定效率，节省标定时间，有效确保标定结果的准确性，后续的处理控制提供保障。
6.本发明提供的一种视觉传感器快速标定方法，包括以下步骤：
7.s1.将相机设置在机器人工具手末端，并确定相机相对于机器人工具手末端的相对位姿矩阵t；
8.s2.设置标定板，所述标定板上设置有棋盘格以及apriltags码，由相机获取apriltags码并确定出apriltags码的中心位置pa，并根据apriltags码的中心位置pa计算出棋盘格的中心位置pc；
9.s3.控制相机对阵棋盘格中心位置pc,然后控制机器人工具手改变姿态采集棋盘格图像，并记录机械臂工具手的采集棋盘格图像时的位置，并存于位置集合p
random
；
10.s4.基于位置集合p
random
，确定机器人工具手的最优动作顺序以及最优动作轨迹，并控制机器人工具手按照所确定的最优动作顺序以及最优动作再次对棋盘格图像进行采集；
11.s5.基于机器人工具手的最优动作顺序以及最优动作所对应的位姿对视觉传感器进行标定。
12.进一步，步骤s4中，采用tsp算法对位置集合p
random
进行处理，得到最优的动作顺序t
optimization
：t
optimization
＝{t1,t2,t3,
…
,tm}。
13.进一步，步骤s4中，根据如下方法确定机械臂工具手的最优动作轨迹：
14.将最优动作顺序t
optimization
代入到matlab逆运动学求解器中得到机器人工具手的每个轨迹点的位形解集合solutionsm：
15.solutionsm＝{solutions1,solutions2,
…
,solutionsn}；至分别表示机器人工具手的六轴的轴角，solutionsm表示第m个轨迹点求解的机器人位形解，solutionsn表示solutionsm中的第n个解，每个solutionsn中均包含机器人的六个轴的角度；
16.对机器人和相机与拍摄对象进行碰撞检测，删除将发生碰撞的解；将剩下的位形解solutionsm存入到集合configurations中,configurations＝{solutions1,solutions2,
…
,solutionsn}；
17.将集合configurations代入图生成器中生成位形路径图graph，将solution1中的n个解作为路径图graph的第一层的n个节点；依此类推，路径图中共有m
×
n个节点，将相邻两层的每个节点相连接形成边并组成边的集合edges：edges＝{edge
11,21
,
…
edge
mn,(m-1)n
}，其中，edge
mn,(m-1)n
表示第m层的第n个节点与第m-1层的第n个节点连接形成的边，
18.计算每个边的权重weight：
[0019][0020][0021]
其中，solution
mn
表示第m个位形解集合的第n个解，表示第m个位形解集合的第n个解的第i个轴角；
[0022]
遍历机器人位形路径图graph，将每一条路径上的所有边的权重求和，选择权重之和最小的路径作为最优路径，，选择最优路径上面的节点solution
mn
作为第t
optimization
＝{t1，t2，t3，...，tm}中第m个路径点的轨迹点的解，得到所有路径点的机器人位形解。将机器人轨迹点放在集合trajectorys中，trajectorys＝{trajectory1，trajectory2，...，trajectory
m-1
，trajectorym}，生成机器人动作轨迹。
[0023]
进一步，对视觉传感器进行标定具体包括：
[0024]
建立标定模型：
[0025]
ax＝xb，其中，a和b表示变换矩阵，x为所求的位姿矩阵；
[0026][0027]
b＝(ct
t2
)-1
.ct
t1
；其中，btg为机器人工具手末端在机器人坐标系中的位姿矩阵，ct
t
为相机在标定板坐标系下的位姿矩阵，btg和ct
t
中的上标1和2分别表示相机的两个不同的视角；
[0028]
将矩阵a、矩阵b以及矩阵x以位姿矩阵表示：
[0029][0030]
ra为矩阵a的旋转矩阵，ta均为矩阵a的位移矩阵；
[0031]
rb为矩阵b的旋转矩阵，tb均为矩阵b的位移矩阵；
[0032]rx
为矩阵x的旋转矩阵，t
x
均为矩阵x的位移矩阵；
[0033]
将标定模型以方程组表示：
[0034][0035]
将旋转矩阵转化为旋转向量：
[0036][0037]
对旋转向量进行归一化处理：
[0038]
其中，ra为矩阵a的旋转向量，rb为矩阵b的旋转向量，na为旋转向量ra的模，nb为旋转向量rb的模；
[0039]
计算修正的罗德里格斯向量：
[0040][0041]
计算初始旋转向量p
x
'：
[0042]
skew(pa pb)p
x
'＝p
a-pb；
[0043]
计算旋转向量p
x
：
[0044][0045]
确定手眼系统的旋转矩阵和平移矩阵：
[0046][0047]
(r
a-1)t
x
＝r
x
t
b-ta；其中:i表示单位矩阵，skew(p(x))表示旋转向量p
x
的偏度。
[0048]
本发明的有益效果：通过本发明，能够对机器人以及相机组成手眼系统进行准确
的标定，能够有效提高标定效率，节省标定时间，有效确保标定结果的准确性，后续的处理控制提供保障。
附图说明
[0049]
下面结合附图和实施例对本发明作进一步描述：
[0050]
图1为本发明的流程图。
[0051]
图2为本发明的标定平台示意图。
[0052]
图3为本发明标定板的棋盘格和apriltags码示意图。
[0053]
图4为本发明的动作顺序确定前后的对比图。
[0054]
图5为m层位形路径图graph。
具体实施方式
[0055]
以下进一步对本发明进一步详细说明：
[0056]
本发明提供的一种视觉传感器快速标定方法，包括以下步骤：s1.将相机设置在机器人工具手末端，并确定相机相对于机器人工具手末端的相对位姿矩阵t；
[0057]
s2.设置标定板，所述标定板上设置有棋盘格以及apriltags码，由相机获取apriltags码并确定出apriltags码的中心位置pa，并根据apriltags码的中心位置pa计算出棋盘格的中心位置pc；其中，以apriltags码的中心位置pa计算棋盘格的中心位置pc采用现有的几何算法实现；
[0058]
s3.控制相机对阵棋盘格中心位置pc,然后控制机器人工具手改变姿态采集棋盘格图像，并记录机械臂工具手的采集棋盘格图像时的位置，并存于位置集合p
random
；
[0059]
s4.基于位置集合p
random
，确定机器人工具手的最优动作顺序以及最优动作轨迹，并控制机器人工具手按照所确定的最优动作顺序以及最优动作再次对棋盘格图像进行采集；
[0060]
s5.基于机器人工具手的最优动作顺序以及最优动作所对应的位姿对视觉传感器进行标定，通过上述方法，能够对机器人以及相机组成手眼系统进行准确的标定，能够有效提高标定效率，节省标定时间，有效确保标定结果的准确性，后续的处理控制提供保障。
[0061]
本实施例中，步骤s4中，采用tsp算法对位置集合p
random
进行处理，得到最优的动作顺序t
optimization
：t
optimization
＝{t1,t2,t3,
…
,tm}，其中，tsp算法为现有技术，在此不加以赘述。
[0062]
本实施例中，步骤s4中，根据如下方法确定机械臂工具手的最优动作轨迹：
[0063]
将最优动作顺序t
optimization
代入到matlab逆运动学求解器中得到机器人工具手的每个轨迹点的位形解集合solutionsm：
[0064]
solutionsm＝{solutions1,solutions2,
…
,solutionsn}；至分别表示机器人工具手的六轴的轴角，solutionsm表示第m个轨迹点求解的机器人位形解，solutionsn表示solutionsm中的第n个解，每个solutionsn中均包含机器人的六个轴的角度；
[0065]
对机器人和相机与拍摄对象进行碰撞检测，删除将发生碰撞的解；具体地：
[0066]
对机器人和相机与工作台的做碰撞检测。为了能够快速的求解机器人与工作台的干涉情况，即是否发生碰撞。将机器人建模为一系列的球形组成，如下图所示。现在就可将机器人的碰撞计算问题转化为求解机器人和相机表面与打印平台的最小距离。
[0067]
d(θi，βk)＝min|rj(θi)-bk|-r
j-βk[0068]
当d(θi，βk)＜0，就从位形解集合solutionsm中删除不满足的解solutionn。
[0069]
(3)判断每个解solutionn是否满每个轴的角度的范围限制范围θ
imin
＜θi＜θ
imax
(i取1-6)，若不满足就从位形解集合solutionsm中删除不满足的解solutionn。
[0070]
将剩下的位形解solutionsm存入到集合configurations中,configurations＝{solutions1,solutions2,
…
,solutionsn}；
[0071]
将集合configurations代入图生成器中生成位形路径图graph，将solution1中的n个解作为路径图graph的第一层的n个节点；依此类推，路径图中共有m
×
n个节点，将相邻两层的每个节点相连接形成边并组成边的集合edges：edges＝{edge
11,21
,
…
edge
mn,(m-1)n
}，其中，edge
mn,(m-1)n
表示第m层的第n个节点与第m-1层的第n个节点连接形成的边，
[0072]
计算每个边的权重weight：
[0073][0074][0075]
其中，solution
mn
表示第m个位形解集合的第n个解，表示第m个位形解集合的第n个解的第i个轴角；
[0076]
遍历机器人位形路径图graph，将每一条路径上的所有边的权重求和，选择权重之和最小的路径作为最优路径，，选择最优路径上面的节点solution
mn
作为第t
optimization
＝{t1，t2，t3，...，tm}中第m个路径点的轨迹点的解，得到所有路径点的机器人位形解。将机器人轨迹点放在集合trajectorys中，trajectorys＝{trajectory1，trajectory2，...，trajectory
m-1
，trajectorym}，生成机器人动作轨迹。
[0077]
本实施例中，对视觉传感器进行标定具体包括：
[0078]
建立标定模型：
[0079]
ax＝xb，其中，a和b表示变换矩阵，x为所求的位姿矩阵；
[0080][0081]
b＝(ct
t2
)-1
.ct
t1
；其中，btg为机器人工具手末端在机器人坐标系中的位姿矩阵，ct
t
为相机在标定板坐标系下的位姿矩阵，btg和ct
t
中的上标1和2分别表示相机的两个不同的视角且该两个矩阵基于初始的相对位置矩阵t进行确定；
[0082]
将矩阵a、矩阵b以及矩阵x以位姿矩阵表示：
[0083][0084]
ra为矩阵a的旋转矩阵，ta均为矩阵a的位移矩阵；
[0085]
rb为矩阵b的旋转矩阵，tb均为矩阵b的位移矩阵；
[0086]rx
为矩阵x的旋转矩阵，t
x
均为矩阵x的位移矩阵；
[0087]
将标定模型以方程组表示：
[0088][0089]
将旋转矩阵转化为旋转向量：
[0090][0091]
对旋转向量进行归一化处理：
[0092]
其中，ra为矩阵a的旋转向量，rb为矩阵b的旋转向量，na为旋转向量ra的模，nb为旋转向量rb的模；
[0093]
计算修正的罗德里格斯向量：
[0094][0095]
计算初始旋转向量p
x
'：
[0096]
skew(pa pb)p
x
'＝p
a-pb；
[0097]
计算旋转向量p
x
：
[0098][0099]
确定手眼系统的旋转矩阵和平移矩阵：
[0100][0101]
(r
a-1)t
x
＝r
x
t
b-ta；其中:i表示单位矩阵，skew(p(x))表示旋转向量p
x
的偏度；确定出旋转矩阵和位移矩阵后，就能够求得最终的位姿矩阵，从而完成标定；其中，上述中各
矩阵的具体维数以及各个元素的值通过现有的方式确定。
[0102]
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。