基于视觉的智能稻麦收割机拨禾轮位置测量方法与流程

技术特征：
1.基于视觉的智能稻麦收割机拨禾轮位置测量方法，其特征在于：包括如下步骤，步骤s1：在收割机驾驶台前上方安装单目相机，保证能够同时拍摄到收割机的拨禾轮主轴、割台；步骤s2：对所述单目相机的内参进行标定，获得相机内参矩阵；步骤s3：在地面上确定一个地面坐标系，并标定所述相机确定的相机坐标系相对于地面坐标系的位姿；步骤s4：在拨禾轮主轴上绕着粘贴一圈编码条，所述编码条用于确定一个编码条坐标系，通过编码条坐标系计算出拨禾轮主轴轴心线在所述编码条坐标系中的位置；步骤s5：由于割刀在作业时会被作物遮挡，所以在作业时不能实时获知割刀的位置，需要通过中间转换坐标系间接推算割刀的位置；所述中间转换坐标系通过割台上可见区域内的标定纸计算割刀位置，该标定纸粘贴在收割机割台相对于割刀静止的任意部件上，之后标定所述中间转换坐标系和割刀所确定的割台坐标系之间的位姿关系；步骤s6：收割机作业过程中，所述相机实时拍摄拨禾轮主轴和割台，将图片传输给上位机处理，上位机程序根据拍摄到的图片，定位出所述编码条坐标系在相机坐标系中的位置，根据编码条坐标系的位置，计算出拨禾轮主轴轴心线在所述相机坐标系中的空间位姿；步骤s7：根据拍摄到的图片，定位出所述中间转换坐标系的位置，之后，根据中间转换坐标系和割台坐标之间的位姿关系，计算出拨禾轮主轴轴心线相对于割台坐标系的位姿；步骤s8：结合步骤s7得到的位姿，以及初始标定的相机坐标系相对于地面坐标系的位姿，计算出拨禾轮主轴轴心线相对于地面的高度，即实现拨禾轮作业位置测量。优选的，所述步骤s7，通过模式识别算法，粗定位标定纸的位置，再通过角点检测算法识别标定纸上的正方形角点；根据已知的四个角点在中间转换坐标系上的空间坐标和在图像上的像素坐标，求解pnp问题，计算出相机坐标系到中间转换坐标系的转换矩阵r
c-m
和t
c-m
，r
c-m
和t
c-m
分别是相机坐标系到中间转换坐标系的旋转矩阵和平移矩阵。2.如权利要求1所述的基于视觉的智能稻麦收割机拨禾轮位置测量方法，其特征在于：所述步骤s2，通过张正友标定法标定单目相机的内参矩阵。3.如权利要求1所述的基于视觉的智能稻麦收割机拨禾轮位置测量方法，其特征在于：所述步骤s3为了标定相机相对于地面的位姿，作业之前在相机视野范围内的地面上平放一块棋盘标定板，以棋盘格标定板上某个正方形的角点作为原点o0，正方形的两个边作为x轴和y轴，垂直于x轴和y轴所构成平面并向上的方向作为z轴正方向，建立初始地面坐标系o0x0y0z0；用迭代法、epnp算法和p3p算法求解pnp问题，计算三种方法下相机在初始地面坐标系中的位姿和已知点的重投影误差，最后选择重投影误差最小的位姿作为相机相对于初始地面坐标系的位姿；在收割机运动过程中，每个时刻n都有一个地面坐标系o
n
x
n
y
n
z
n
，相机坐标系相对于地面坐标系o
n
x
n
y
n
z
n
的位姿保持不变。4.如权利要求1所述的基于视觉的智能稻麦收割机拨禾轮位置测量方法，其特征在于：所述步骤s4在拨禾轮主轴上粘贴的编码条由黑白相间的矩形组成，并能保证每个时刻至少有一个矩形出现在相机视野中，且编码条中的矩形其中一个方向的所有边空间平行于拨禾轮主轴轴线。5.如权利要求1、2、3或4所述的基于视觉的智能稻麦收割机拨禾轮位置测量方法，其特征在于：所述步骤s4为了建立编码条坐标系，选取视野中编码条中矩形的四个角点，按照视
野中左上，右上，左下，右下的顺序对四个角点进行排序，并以左上角的角点作为坐标原点，四个角点所在的平面作为x轴和y轴所在平面，垂直x轴y轴平面方向为z轴方向，建立编码条坐标系oxyz，根据几何关系，所述四个角点分别为p0,p1,p2,p3，四个角点在编码条坐标系中的坐标依次是：p0(0,0,0),p1(l1,0,0),其中，l1是编码条铺平状态下p0p1的距离，l2是编码条铺平状态下p0p2的距离，r是拨禾轮主轴的半径。6.如权利要求5所述的基于视觉的智能稻麦收割机拨禾轮位置测量方法，其特征在于：所述步骤s4，根据已经确定的编码条坐标系，根据如下公式计算出拨禾轮主轴轴线上任意一点在编码条坐标系中的坐标：其中，x
zb
是轴线上任意一点在编码条坐标系上的x坐标。7.如权利要求6所述的基于视觉的智能稻麦收割机拨禾轮位置测量方法，其特征在于：所述步骤5，标定纸上绘制有一个正方形，并铺平粘贴在割台侧面某个相对于割刀静止的部件上，以标定纸上正方形的任一角点作为原点o
t
，正方形的两个边作为x轴和y轴，垂直于x轴和y轴所构成平面作为z轴正方向，建立中间转换坐标系o
m
x
m
y
m
z
m
；所述步骤5，以任一割齿作为坐标原点，割台平面作为x，y轴所在平面，x轴沿着割齿的排列方向，y轴垂直于x轴，z轴垂直于割台平面，建立割台坐标系o
g
x
g
y
g
z
g
；收割作业之前，由于没有作物遮挡，可以拍摄割台并保证中间转换坐标系和割台坐标系同时出现在相机视野内，分别在割台上选取割台坐标系中已知空间坐标的四个点和标定纸上四个角点，求解pnp问题，分别计算割台坐标系和中间转换坐标系在相机坐标系中的位姿，之后计算中间转换坐标系到割台坐标系的旋转矩阵和平移矩阵r
m-g
，t
m-g
。8.如权利要求7所述的基于视觉的智能稻麦收割机拨禾轮位置测量方法，其特征在于：所述步骤s6，在作业过程中，通过模式识别算法，粗定位编码条的位置，然后通过角点检测算法，确定编码条上矩形的四个角点，根据已知的四个角点在编码条坐标系上的空间坐标和在图像上的像素坐标，求解pnp问题，计算出编码条坐标系相对于相机坐标系的位姿r
b-c
和t
b-c
，r
b-c
和t
b-c
是编码条坐标系到相机坐标系的旋转矩阵和平移矩阵；所述步骤s6，通过如下公式计算出拨禾轮主轴上任意一点在相机坐标系中的坐标：其中，x
zc
、y
zc
是轴线上任意一点在割台坐标系中的坐标。9.如权利要求8所述的基于视觉的智能稻麦收割机拨禾轮位置测量方法，其特征在于：所述步骤7，通过如下公式计算出拨禾轮主轴轴心线相对于割台坐标系的位姿：
其中，[x
zg
,y
zg
,z
zg
]
t
是轴线上任意一点在割台坐标系中的坐标，r
z-g
，t
z-g
是轴中心线上任意一点到割台坐标系的旋转平移矩阵，r
z-g
，t
z-g
的推导式如下：其中：r
m-g
，t
m-g
分别是中间转换坐标系到割台坐标系的旋转矩阵和平移矩阵，r
c-m
和t
c-m
分别是相机坐标系到中间转换坐标系的旋转矩阵和平移矩阵，r
b-c
和t
b-c
是编码条坐标系到相机坐标系的旋转矩阵和平移矩阵，r
z-g
，t
z-g
是轴中心线上任意一点到割台坐标系的旋转平移矩阵。10.如权利要求9所述的基于视觉的智能稻麦收割机拨禾轮位置测量方法，其特征在于：所述步骤s8，根据如下公式计算出拨禾轮主轴轴线上任意一点在地面坐标系中的坐标：其中，[x
zd
,y
zd
,z
zd
]
t
是轴线上任意一点在地面坐标系中的坐标，z
zd
的值就是拨禾轮主轴相对于地面的高度，r
c-d
，t
c-d
是相机坐标系到地面坐标系的旋转矩阵和平移矩阵，r
z-d
，t
z-d
是轴中心线上任意一点到地面坐标系的旋转平移矩阵，r
z-d
，t
z-d
的推导式如下：

技术总结
本发明公开的基于视觉的智能稻麦收割机拨禾轮位置测量方法，属于农业机械自动化技术领域。本发明实现方法为：在收割机驾驶台前上方安装相机，并对相机进行内参标定；标定相机坐标系相对于地面坐标系的位姿；在拨禾轮主轴上粘贴编码条，计算拨禾轮主轴轴心线在编码条坐标系中的位置；标定中间转换坐标系和割刀所确定的割台坐标之间的位姿关系；通过视觉定位出编码条坐标系和中间转换坐标系在相机坐标系中的位置，通过坐标转换，计算出拨禾轮主轴轴心线在相机坐标系中的空间位置，再通过坐标转换，计算出拨禾轮主轴轴心线相对于割台坐标系的位置和相对于地面的高度。本发明能够提高拨禾轮作业位置测量的精度和安全性，降低传感器成本和安装复杂性。器成本和安装复杂性。器成本和安装复杂性。


技术研发人员：闻敬谦 范银冬 姚轶溥 甄晓阳
受保护的技术使用者：北京理工大学
技术研发日：2021.10.18
技术公布日：2022/3/14