一种农作物顶芽跟踪匹配方法、设备及存储介质与流程

本发明涉及农业，具体是一种农作物顶芽跟踪匹配方法、设备及存储介质。

背景技术：

1、目前的跟踪匹配方法多是使用卡尔曼滤波方法将上一帧物体的位置预测到当前帧上与当前帧的物体检测结果进行交并比计算，大于一定阈值则认为是同一物体，但是此类方法对于密集生长且无规则形状的农作物来说难以生效，原因是密集生长就导致对上一帧物体预测在当前帧的位置要求很高的精度，否则易匹配到错误目标上；其次农作物不像车辆等规则物体，容易使用矩形框的方式计算物体与物体之间的交并比，以棉花顶芽举例，在农业场景所检测的物体是顶芽，如图2所示，顶芽在俯视图像中是不能直接看到，而是被叶片遮挡，在每帧以深度学习算法检测出后往往以点坐标的形式表示其位置，与下一帧的棉花顶芽匹配时难以规划一个合适的矩形框表示，所以无法以矩形框交并比计算匹配方式也无法单纯过于宽松的距离阈值约束匹配范围。

技术实现思路

1、本发明的目的在于提供一种农作物顶芽跟踪匹配方法、设备及存储介质，棉花顶芽在多帧检测过程中以唯一id跟踪匹配关联同一个顶芽，利用了特征点提取与深度反向计算出了相机的帧间移动，利用较小的水平面距离阈值与同一顶芽高度变化小的特点关联匹配同一顶芽在不同帧的位置。

2、本发明的目的可以通过以下技术方案实现：

3、本技术提供了一种农作物顶芽跟踪匹配方法，包括如下步骤：

4、s1、将彩色与深度一体相机设置在移动车架上，且相机俯视视角朝下，将移动车架在地里行驶，以一定速度在多个棉花顶部经过，同一棉花顶芽到相机的深度不变，用于拍摄棉花顶部的图像；

5、s2、根据步骤s1获取的棉花顶部的图像数据，包括彩色图像和深度图像，使用基于深度学习的关键点检测算法检测顶芽位置；

6、s3、根据步骤s2所述的顶芽位置，在图像第一帧时，每个顶芽在相机坐标系的位置都初始化一个唯一的id，每个棉花顶部在相机坐标系中的位置分配一个独特的标识符，用于标识和跟踪每个顶芽的位置和状态；

7、s4、通过计算两帧图像的特征点和描述子，并进行特征匹配，在两帧特征匹配后，取出当前帧上距离图片中心最近的特征点ft与对应匹配上一帧的特征点ft-1，再将特征点在图像中的位置映射到相机坐标系中，得到棉花顶芽在相机坐标系下的位置；

8、s5、根据步骤s4获取的ft与ft-1，是现实世界的同一位置在不同帧彩色图中提取到的特征点，根据相机移动获取两帧间的位置，将上一帧所检测到的所有棉花顶芽在相机坐标系下的位置tc与相机在三轴移动的偏移量相加，得到上一帧棉花顶芽在当前帧的预估位置；

9、s6、将当前帧顶芽预估位置与当前帧所检测的棉花顶芽位置进行计算和匹配，当历史棉花顶芽与当前帧预估位置关联匹配，则以当前帧检测的位置更新该id所表示的棉花顶，当没有关联匹配时，则新增唯一id表示新检测的棉花顶芽。

10、进一步的，基于深度学习的关键点检测算法检测顶芽位置，得到顶芽在彩色图像的位置t，利用该位置和事先标定好的彩色图与深度图的位置变换关系，找到彩色图的t位置在深度图对应的深度d，基于事先标定的彩色相机内参，取内参矩阵的逆乘以t坐标再乘以深度d得到顶芽在相机坐标系的位置tc。

11、进一步的，根据彩色图像位置t和深度d，将t映射到相机坐标系下的位置tc，设定彩色图像位置t的坐标为(u,v)，深度d为d，相机内参矩阵为k，相机坐标系下的位置为(xc,yc,zc)，则包括以下公式：

12、将彩色图像位置t转换为相机坐标系下的归一化坐标，表示为：[x y z]＝k^(-1)[u v 1]；将归一化坐标乘以深度d得到相机坐标系下的位置，表示为[xc yc zc]＝d*[x yz]；顶芽在相机坐标系下的位置tc，表示为：tc＝d*k^(-1)[u v 1]。

13、进一步的，基于ft在当前帧的位置对应地取深度图同一位置的深度dt，该深度表示ft所处位置相对相机的距离，基于事先标定的彩色相机内参，取内参矩阵的逆乘以ft在图像上的uv坐标再乘以深度dt得到ft在相机坐标系的位置pt，pt包含在相机坐标系下的x、y、z坐标，同理将ft-1在上一帧的位置与相机内参以及ft-1在上一帧位置的深度dt-1计算出ft-1对应的相机坐标系下的位置pt-1。

14、进一步的，对于特征点ft在当前帧的位置，其相机坐标系下的位置pt的计算公式为：pt＝d_t*k^(-1)[u_t v_t 1]；其中，d_t表示当前帧中特征点ft所处位置对应的深度值，k为相机内参矩阵，u_t和v_t为ft在当前帧图像上的像素坐标；

15、对当前帧的特征点ft和上一帧的特征点ft-1进行匹配，根据匹配结果得到对应关系，对于上一帧特征点ft-1在上一帧的位置，其相机坐标系下的位置pt-1的计算公式为：pt-1＝d_{t-1}*k^(-1)[u_{t-1}v_{t-1}1]；其中，(d_{t-1})表示上一帧中特征点ft-1所处位置对应的深度值，u_{t-1}和v_{t-1}为ft-1在上一帧图像上的像素坐标；在特征匹配过程中，通过计算特征点在图像中的位置，并结合深度信息，将其映射到相机坐标系下，得到特征点在三维空间中的位置，再通过特征点匹配，在不同帧间追踪顶芽的位置和状态。

16、进一步的，通过pt与pt-1相减，得到现实世界同一位置在不同帧相机下的偏移，即相机在现实世界中第t帧相对第t-1帧在xyz三轴偏移量x_offset、y_offset、z_offset。

17、进一步的，相机是朝下俯视的视角，设定xy轴是水平面，z轴是朝下的竖直方向，再设定预估位置为(p_{pred}＝(x_{pred},y_{pred},z_{pred}))，检测位置为p_{det}＝(x_{det},y_{det},z_{det})；

18、在相机俯视的情况下，xy平面为水平面，z轴为竖直方向，计算预估位置与检测位置在xy平面上的欧氏距离表示为：distance_{xy}＝

19、\sqrt{(x_{pred}-x_{det})^2+(y_{pred}-y_{det})^2}；

20、再计算z坐标的差异，即z轴方向上的差值：diff_z＝|z_{pred}-z_{det}|；根据计算结果，当distance_{xy}<1.5厘米且diff_z≤3厘米时，则认为预估位置与检测位置匹配上，表示为同一个顶芽，用同一id表示，以当前帧检测的位置更新该id所表示的棉花顶；

21、一种农作物顶芽跟踪匹配设备，包括处理器、存储器以及存储在存储器中的计算机程序指令，当计算机程序指令被处理器执行时实现上述一种农作物顶芽跟踪匹配方法步骤。

22、一种存储介质，其上存储有计算机程序指令，当计算机程序指令被处理器执行时实现上述一种农作物顶芽跟踪匹配方法步骤。

23、本发明的有益效果为：

24、通过深度学习算法和关键点检测技术，成功解决了对密集生长和无规则形状农作物的高精度跟踪匹配问题，实现了对农作物顶芽的准确定位和识别，无需依赖矩形框表示，可以确保对农作物顶芽进行精准的跟踪和匹配，提高了匹配的准确性和稳定性；

25、通过将彩色图像和深度图像结合使用，以及采用基于深度学习的关键点检测算法，成功解决了密集生长和无规则形状农作物的跟踪匹配困难，可以应对农作物在生长过程中的复杂形态变化，提高了匹配的鲁棒性和准确性。