基于视觉的智能稻麦收割机拨禾轮位置测量方法与流程

1.本发明涉及基于视觉的智能稻麦收割机拨禾轮位置测量方法，属于农业机械自动化技术 领域。


背景技术：

2.智能农业机械实现智能化的一个最基本要求就是能够脱离人工干预，自动化地测控各个 机构，因此，准确测量各个部件的作业参数成为了实现智能农机必不可少的部分。
3.拨禾轮是稻麦联合收割机用于扶持、推送茎秆的装置，作业时，拨禾轮可以被液压推杆 前后，上下推动，改变作业位置，达到不同的拨禾、推送效果。拨禾轮作业时的位置主要指 拨禾轮主轴相对于地面的高度、拨禾轮主轴相对于割刀的位置。在智能农机出现以前，对拨 禾轮作业位置的测控基本上都是靠人工经验目测，由操作员观测拨禾轮位置，再进行手动调 控。随着智能农机的发展，现阶段出现了很多拨禾轮作业位置自动测量方法，其中，拨禾轮 主轴相对于割刀的位置，主要通过传感器测量推动拨禾轮的液压推杆伸缩长度，再结合收割 机的结构参数间接推算获得；拨禾轮主轴相对于地面的高度主要是通过仿形装置测量割刀相 对于地面的高度，再根据拨禾轮主轴相对于割刀的位置推算。采用上述方法测量拨禾轮的作 业参数，根据不同的收割机机械结构，需要安装多个传感器，成本较高，安装复杂，不利于 产品推广。


技术实现要素：

4.为了解决现有技术的不足，本发明的目的是提供一种基于视觉的智能稻麦收割机拨禾轮 位置测量方法，通过视觉测量到方式，便捷简单地测量出拨禾轮的作业位置，提高拨禾轮作 业位置测量的精度，降低传感器成本和安装复杂性。
5.本发明的目的是通过下述技术方案实现的。
6.本发明公开的基于视觉的智能稻麦收割机拨禾轮位置测量方法，包括如下步骤：
7.步骤s1：在收割机驾驶台前上方安装单目相机，保证能够同时拍摄到收割机拨禾轮主轴、 割台；
8.步骤s2：对所述单目相机的内参进行标定，获得相机内参矩阵；
9.步骤s3：在地面上确定一个地面坐标系，并标定所述相机确定的相机坐标系相对于地面 坐标系的位姿；
10.步骤s4：在拨禾轮主轴上绕着粘贴一圈编码条，所述编码条用于确定一个编码条坐标系， 通过编码条坐标系计算出拨禾轮主轴轴心线在所述编码条坐标系中的位置；
11.步骤s5：由于割刀在作业时会被作物遮挡，所以在作业时不能实时获知割刀的位置，需 要通过中间转换坐标系间接推算割刀的位置；所述中间转换坐标系通过割台上可见区域内的 标定纸计算割刀位置，该标定纸粘贴在收割机割台相对于割刀静止的任意部件上，之后标定 所述中间转换坐标系和割刀所确定的割台坐标系之间的位姿关系；
12.步骤s6：收割机作业过程中，所述相机实时拍摄收拨禾轮主轴和割台，将图片传输
给上 位机处理，上位机程序根据拍摄到的图片，定位出所述编码条坐标系在相机坐标系中的位置， 根据编码条坐标系的位置，计算出拨禾轮主轴轴心线在所述相机坐标系中的空间位姿；
13.步骤s7：根据拍摄到的图片，定位出所述中间转换坐标系的位置，之后，根据中间转换 坐标系和割台坐标之间的位姿关系，计算出拨禾轮主轴轴心线相对于割台坐标系的位姿；
14.步骤s8：结合步骤s7得到的位姿，以及初始标定的相机坐标系相对于地面坐标系的位 姿，计算出拨禾轮主轴轴心线相对于地面的高度，即实现拨禾轮作业位置测量。
15.优选的，所述步骤s2，通过张正友标定法标定单目相机的内参矩阵。
16.优选的，所述步骤s3为了标定相机相对于地面的位姿，作业之前在相机视野范围内的地 面上平放一块棋盘标定板，以棋盘格标定板上某个正方形的角点作为原点o0，正方形的两个 边作为x轴和y轴，垂直于x轴和y轴所构成平面并向上的方向作为z轴正方向，建立初始 地面坐标系o0x0y0z0。用迭代法、epnp算法和p3p算法求解pnp问题，计算三种方法下相机 在初始地面坐标系中的位姿和已知点的重投影误差，最后选择重投影误差最小的位姿作为相 机相对于初始地面坐标系的位姿。在收割机运动过程中，每个时刻n都有一个地面坐标系 onx
nynzn
，相机坐标系相对于地面坐标系onx
nynzn
的位姿保持不变。
17.优选的，所述步骤s4在拨禾轮主轴上粘贴的编码条由黑白相间的矩形组成，并能保证每 个时刻至少有一个矩形出现在相机视野中，且编码条中的矩形其中一个方向的所有边空间平 行于拨禾轮主轴轴线；
18.优选的，所述步骤s4为了建立编码条坐标系，选取视野中编码条中矩形的四个角点，按 照视野中左上，右上，左下，右下的顺对四个角点进行排序，并以左上角的角点作为坐标原 点，四个角点所在的平面作为x轴和y轴所在平面，垂直x轴y轴平面方向为z轴方向，建 立编码条坐标系oxyz，根据几何关系，所述四个角点分别为p0,p1,p2,p3，四个角点在编码 条坐标系中的坐标依次是：
19.p0(0,0,0),p1(l1,0,0),
20.其中，l1是编码条铺平状态下p0p1的距离，l2是编码条铺平状态下p0p2的距离，r是拨 禾轮主轴的半径；
21.优选的，所述步骤s4，根据已经确定的编码条坐标系，根据如下公式计算出拨禾轮主轴 轴线上任意一点在编码条坐标系中的坐标：
[0022][0023]
其中，x
zb
是轴线上任意一点在编码条坐标系上的x坐标。
[0024]
优选的，所述步骤5，标定纸上绘制有一个正方形，并铺平粘贴在割台侧面，相对于割 刀静止的部件上，以标定纸上正方形的任一角点作为原点o
t
，正方形的两个边作为x轴和y 轴，垂直于x轴和y轴所构成平面作为z轴正方向，建立中间转换坐标系omxmymzm；
[0025]
优选的，所述步骤5，以任一割齿作为坐标原点，割台平面作为x,y轴所在平面，x轴沿 着割齿的排列方向，y轴垂直于x轴，z轴垂直于割台平面，建立割台坐标系ogxgygzg。收割 作业之前，由于没有作物遮挡，可以拍摄割台并保证中间转换坐标系和割台坐标系同时出
现 在相机视野内，分别在割台上选取割台坐标系中已知空间坐标的四个点和标定纸上四个角点， 求解pnp问题，分别计算割台坐标系和中间转换坐标系在相机坐标系中的位姿，之后计算中 间转换坐标系到割台坐标系的旋转矩阵和平移矩阵r
m-g
，t
m-g
。
[0026]
优选的，所述步骤s6，在作业过程中，通过模式识别算法，粗定位编码条的位置，然后 通过角点检测算法，确定编码条上矩形的四个角点，根据已知的四个角点在编码条坐标系上 的空间坐标和在图像上的像素坐标，求解pnp问题，计算出编码条坐标系相对于相机坐标系 的位姿r
b-c
和t
b-c
，r
b-c
和t
b-c
是编码条坐标系到相机坐标系的旋转矩阵和平移矩阵。
[0027]
优选的，所述步骤s6，通过如下公式计算出拨禾轮主轴上任意一点在相机坐标系中的坐 标：
[0028][0029]
其中，x
zc
、y
zc
是轴线上任意一点在割台坐标系中的坐标。
[0030]
优选的，所述步骤s7，通过模式识别算法，粗定位标定纸的位置，再通过角点检测算法 识别标定纸上的正方形角点。根据已知的四个角点在中间转换坐标系上的空间坐标和在图像 上的像素坐标，求解pnp问题，计算出相机坐标系到中间转换坐标系的转换矩阵r
c-m
和t
c-m
， r
c-m
和t
c-m
分别是相机坐标系到中间转换坐标系的旋转矩阵和平移矩阵。
[0031]
优选的，所述步骤7，通过如下公式计算出拨禾轮主轴轴心线相对于割台坐标系的位姿：
[0032][0033]
其中，[x
zg
,y
zg
,z
zg
]
t
是轴线上任意一点在割台坐标系中的坐标，r
z-g
，t
z-g
是轴中心线上 任意一点到割台坐标系的旋转平移矩阵，r
z-g
，t
z-g
的推导式如下：
[0034][0035]
其中：r
m-g
，t
m-g
分别是中间转换坐标系到割台坐标系的旋转矩阵和平移矩阵，r
c-m
和t
c-m
分别是相机坐标系到中间转换坐标系的旋转矩阵和平移矩阵，r
b-c
和t
b-c
是编码条坐标系到相 机坐标系的旋转矩阵和平移矩阵，r
z-g
，t
z-g
是轴中心线上任意一点到割台坐标系的旋转平移 矩阵。
[0036]
优选的，所述步骤s8，根据如下公式计算出拨禾轮主轴轴线上任意一点在地面坐标系中 的坐标：
[0037][0038]
其中，[x
zd
,y
zd
,z
zd
]
t
是轴线上任意一点在地面坐标系中的坐标，z
zd
的值就是拨禾轮主轴相 对于地面的高度，r
c-d
，t
c-d
是相机坐标系到地面坐标系的旋转矩阵和平移矩阵，r
z-d
，t
z-d
是 轴中心线上任意一点到地面坐标系的旋转平移矩阵，r
z-d
，t
z-d
的推导式如下：
[0039][0040]
有益效果：
[0041]
1、本发明公开的基于视觉的智能稻麦收割机拨禾轮位置测量方法，在收割机驾驶台前上 方安装相机，并对相机进行内参标定；在地面上确定一个地面坐标系，标定相机坐标系相对 于地面坐标系的位姿；在拨禾轮主轴上粘贴编码条，计算拨禾轮主轴轴心线在编码条坐标系 中的位置；在割台相对于割刀静止的部件上粘贴标定纸作为中间转换坐标系，标定中间转换 坐标系和割刀所确定的割台坐标之间的位姿关系；作业过程中，通过视觉定位出编码条坐标 系和中间转换坐标系在相机坐标系中的位置，通过坐标转换，计算出拨禾轮主轴轴心线在相 机坐标系中的空间位置，再通过坐标转换，计算出拨禾轮主轴轴心线相对于割台坐标系的位 置和相对于地面的高度。本发明只需要安装一个单目相机既能够同时测量拨禾轮主轴相对于 割台的位置和相对地面的高度，避免安装多个传感器进行测量，显著降低测量成本。
[0042]
2、本发明公开的基于视觉的智能稻麦收割机拨禾轮位置测量方法，基于视觉实现智能稻 麦收割机拨禾轮位置测量，通过非接触的方式测量拨禾轮的位置，与安装接触式测量传感器 相比，便于割台与机体分离，提高测量安全性。
[0043]
3、本发明公开的基于视觉的智能稻麦收割机拨禾轮位置测量方法，应用于智能稻麦收割 领域，在提高拨禾轮作业位置测量的精度基础上，显著提升稻麦收割机效率。
附图说明
[0044]
图1是本发明的一种基于视觉的智能稻麦收割机拨禾轮位置测量方法流程示意图；
[0045]
图2是本发明中单目相机相对于地面坐标系的位姿标定示意图；
[0046]
图3是本发明中编码条、中间转换坐标系和割台坐标系位置的示意图；
[0047]
图4是本发明中割台坐标系和中间转换坐标系的局部放大图。
具体实施方式
[0048]
下面结合说明书附图对本发明的实施方式进行描述。
[0049]
如图1所示，本实施例提供一种基于视觉的智能稻麦收割机拨禾轮作业位置测量方法， 具体实施步骤如下：
[0050]
步骤s1：如图2所示将单目相机安装在收割机驾驶室的前上方，其视野范围包括拨禾轮、 割台和前方部分地面。
[0051]
步骤s2：在实施视觉测量之前，先采用张正友标定法，使用棋盘格对所述单目相机的内 参进行标定，获得相机的内参矩阵。
[0052]
步骤s3：在地面上确定一个地面坐标系，并标定所述相机确定的相机坐标系相对于地面 坐标系的位姿，步骤s3具体实施方式如下：
[0053]
在地面上水平放置一块棋盘格标定板，以棋盘格标定板上某个正方形的角点作为原点 o0，正方形的两个边作为x轴和y轴，垂直于x轴和y轴所构成平面并向上的方向作为z轴 正方向，建立初始地面坐标系o0x0y0z0；
[0054]
所述单目相机上也需要构建一个相机坐标系，以相机光心作为坐标原点oc，xc轴和yc轴方向分别沿着成像平面的x轴和y轴方向，z轴沿着光轴方向指向相机外部，建立相机坐 标系ocxcyczc。两个坐标系构建的示意图如图1所示。
[0055]
通过相机拍摄地面上的棋盘格标定板上，选取棋盘格上四个角点，已知四个角点在初始 地面坐标系中的坐标，再根据四个角点在图像坐标系中的坐标，用迭代法、epnp算法和p3p 算法求解pnp问题，计算三种方法下相机坐标系在初始地面坐标系中的位姿和四个角点的重 投影误差，最后选择重投影误差最小的位姿作为相机坐标系在初始地面坐标系的位姿r
c-d
， t
c-d
。
[0056]
步骤s4：在拨禾轮主轴上绕着粘贴一圈编码条，所述编码条用于确定一个编码条坐标系， 通过编码条坐标系，可以计算出拨禾轮主轴轴心线在所述编码条坐标系中的位置，具体计算 步骤如下：
[0057]
步骤s401：如图3所示的编码条绕着拨禾轮主轴粘贴，编码条:由黑白相间矩形区域组成， 矩形区域的大小能够保证在任何时刻相机视野中至少能出现四个矩形角点。
[0058]
步骤s402：矩形区域的四个角点p0,p1,p2,p3的位置顺序如图3所示。
[0059]
步骤s403：由于矩形的两条边平行，所以矩形的四个角点一定位于空间同一个平面，因 此，以p0为坐标原点o，p0p1为x轴，p0p2为y轴，建立如图3所示的编码条坐标系oxyz。 由于拨禾轮的主轴半径r已知，编码条上矩形的边长l1，l2已知，所以根据几何关系，可以计 算出四个角点p0,p1,p2,p3在编码条坐标系中的位置分别是：
[0060]
p0(0,0,0),p1(l1,0,0),
[0061]
其中，l1是编码条铺平状态下p0，p1的距离，l2是编码条铺平状态下p0，p2的距离。
[0062]
步骤s404：由于编码条绕着拨禾轮主轴粘贴，拨禾轮主轴上任意一点在编码条坐标系中 的坐标可以表示为：
[0063][0064]
其中，x
zb
是轴线上任意一点在编码条坐标系上的x坐标。
[0065]
步骤s5:由于割刀在作业时会被作物遮挡，所以在作业时不能实时获知割刀的位置，需 要通过中间某个坐标系来间接推算割刀的位置，因此需要确定一个计算割刀位置的中间转换 坐标系，该中间转换坐标系通过割台上可见区域内的标定纸确定，该标定纸粘贴在收割机割 台相对于割刀静止的某个部件上，之后标定所述中间转换坐标系和割刀所确
定的割台坐标之 间的位姿关系，具体步骤如下：
[0066]
步骤s501:将一个绘制有正方形的标定纸粘贴在割台右侧的挡板上，以标定纸上正方形的 一个角点为坐标系原点，建立如图3所示的中间转换坐标系omxmymzm。
[0067]
步骤s502:以割刀从右向左第四个割齿根部为坐标原点，割台所在平面为x轴和y轴所在 平面，建立如图3所示的割台坐标系ogxgygzg。
[0068]
步骤s503:收割作业之前，由于没有作物遮挡，可以拍摄割台并保证中间转换坐标系和割 台坐标系同时出现在相机视野内。人工选取如图4所示的割刀上已知空间位置的四个点q1， q2，q3，q4，结合四个点在图像中的像素坐标，通过求解pnp问题可以解算出割台坐标系在相 机坐标系中的位姿r
g-c
和t
g-c
，其中，r
g-c
是割台坐标系到相机坐标系的旋转矩阵，t
g-c
是割 台坐标系到相机坐标系的平移矩阵。
[0069]
步骤s504:人工选取标定纸上的四个矩形角点，并通过亚像素角点检测计算出四个角点 的亚像素精度位置，由于矩形的边长已知即在中间转换坐标系中的空间位置已知，同样可以 通过求解pnp问题解算出中间转换坐标系在相机坐标系中的位姿r
m-c
和t
m-c
，其中，r
m-c
是 中间转换坐标系到相机坐标系的旋转矩阵，t
m-c
是中间转换坐标系到相机坐标系的平移矩阵。
[0070]
步骤s505:根据上述位姿可以计算出中间转换坐标系到割台坐标系的转换关系
[0071][0072]
其中，r
m-g
是中间转换坐标系到割台坐标系的旋转矩阵，t
m-g
是中间转换坐标系到割台 坐标系的平移矩阵。
[0073]
步骤s6：收割机作业过程中，所述相机实时拍摄收拨禾轮主轴和割台，将图片传输给上 位机处理，上位机程序根据拍摄到的图片，定位出所述编码条坐标系在相机坐标系中的位置， 根据编码条坐标系的位置，计算出拨禾轮主轴轴心线在所述相机坐标系中的空间位姿，该过 程具体实施步骤如下：
[0074]
步骤s601:将相机采集的图像划分为若干个小cell，分别计算每个cell的hog特征，再 采用事先训练好的svm模型对每个cell进行识别分类，找出属于编码条的cell，从而粗定位 出编码条所在区域，之后对粗定位的区域进行亚像素角点检测，检测出矩形区域的四个角点 p0,p1,p2,p3。
[0075]
步骤s602：根据四个角点p0,p1,p2,p3在编码条坐标系系中的坐标和对应的图像坐标， 用迭代法、epnp算法和p3p算法求解pnp问题，计算三种方法下编码条坐标系在相机坐标 系中的位姿和四个点的重投影误差，最后选择重投影误差最小的位姿作为编码条坐标系相对 于相机坐标系的位姿，从而得到编码条坐标系到相机坐标系的旋转矩阵r
b-c
和平移矩阵t
b-c
。
[0076]
步骤s603：通过如下公式计算拨禾轮主轴轴心线在相机坐标系中的空间位姿：
[0077][0078]
其中，[x
zc
,y
zc
,z
zc
]
t
是轴线上任意一点在相机坐标系中的坐标。
[0079]
步骤s7：根据拍摄到的图片，定位出所述中间转换坐标系的位置，之后，根据中间转换 坐标系和割台坐标之间的位姿关系，可以计算出拨禾轮主轴轴心线相对于割台坐标系的位姿， 具体实施步骤如下：
[0080]
步骤s701：采用步骤s601-s603的方法计算出拨禾轮主轴轴心线上，在编码条坐标系中 坐标为的一点a在相机坐标系中的空间位置。
[0081]
步骤s702：将相机采集的图像划分为若干个小cell，分别计算每个cell的hog特征，再 采用事先训练好的svm模型对每个cell进行识别分类，找出属于标定纸的cell，从而粗定位 出标定纸所在区域，之后对粗定位的区域进行亚像素角点检测，检测出标定纸上正方形区域 的四个角点。求解pnp问题解算出中间转换坐标系在相机坐标系中的位姿r
m-ci
和t
m-ci
，其中， r
m-ci
是i时刻中间转换坐标系到相机坐标系的旋转矩阵，t
m-ci
是i时刻中间转换坐标系到相机 坐标系的平移矩阵。
[0082]
步骤s703：根据如下公式计算出所述拨禾轮主轴轴心上的a点在割台坐标系中的空间位 置：
[0083][0084]
步骤s704：[x
zg
,y
zg
,z
zg
]
t
是a点在割台坐标系中的坐标。
[0085]
步骤s8：结合初始标定的相机坐标系相对于地面坐标系的位姿，可以计算出拨禾轮主轴 轴心线相对于地面的高度。
[0086]
步骤s801：根据如下公式计算出所述拨禾轮主轴轴心上的a点在地面坐标系中的空间位 置：
[0087][0088]
步骤s802：[x
zd
,y
zd
,z
zd
]
t
是a点在地面坐标系中的坐标，z
zd
即为拨禾轮主轴相对于地面 的高度。
[0089]
综上所述，本发明通过视觉测量，能够同时测量出拨禾轮主轴相对于地面的高度个割台 的位置，避免安装多个传感器进行测量，显著降低测量成本。此外，通过非接触的方式测量 拨禾轮的位置，与安装接触式测量传感器相比，便于割台与机体分离，提高收割效率和安全 性。
[0090]
以上所述，仅是本发明的较佳实施例，并非是对本发明作其它形式的限制，任何熟悉本 专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但 是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修 改、等同变化与改型，仍属于本发明技术方案的保护范围。