一种针对田间虫害的识别控制喷洒机器人及其方法

本发明涉及农业智能化机器人，具体涉及一种针对田间虫害的识别控制喷洒机器人及其方法。

背景技术：

1、棉铃虫，又称棉铃实夜蛾，是一种危害大豆、花生、棉花、水稻、小麦等作物的农业害虫，棉铃虫的成虫昼伏夜出，其白天多栖息在植株丛间叶背、花冠等隐蔽处，黄昏时开始进行活动甚至爬到液面，以棉花花蕾、嫩叶、幼玲等为食，喜产卵于生长茂密、花蕾多的棉花上，产卵部位一般为嫩尖、嫩叶等植株幼嫩部分；棉铃虫幼虫以嫩叶为食，两龄后开始蛀食幼蕾，三到四龄幼虫主要为害蕾和花、引起落蕾，五至六龄进入暴食期，为害青铃、大蕾或花朵。可见，棉铃虫在整个生长期会导致花蕾迅速脱落、嫩叶千疮百孔、幼玲被蛀食成空洞，从而造成棉花减产，一般产量损失达15～20%、严重时达到50%以上。

2、由于棉铃虫昼伏夜出的生活习性，导致其识别监测工作困难，无法做到实时、精准的进行棉铃虫害的识别与检测，从而无法进行及时的防治工作，导致棉铃虫蛀食植株、对棉花造成不可逆的伤害。目前，主要通过两种方式对棉花田间虫害进行监测：一是人为识别、判断，但人为识别需要工作人员长期驻守在棉花田间，极耗费工作人员的精力，且周期长、劳动力成本高，此外，人为识别过程中人为影响因素大、导致识别精度低；二是通过无人机光谱进行田间虫害识别，但无人机识别具有一定的滞后性，即无人机光谱发现时、棉铃虫已对棉花产生了较大危害，影响后续的防治措施，同时，无人机光谱识别无法进行夜间和白天全天候的实时监测（夜间进行无人机探测的效果明显低于白天探测效果），进而导致棉花被棉铃虫大量蛀食，造成棉花的减产。此外，现有的喷药设备无法实现深入作物从中进行喷洒，喷洒不均匀、喷洒效率低，易造成药液的浪费、以及对棉铃虫的防治效果差等问题。

技术实现思路

1、针对以上现有技术存在的问题，本发明的目的在于提供一种针对田间虫害的识别控制喷洒机器人，该喷洒机器人能够进行白天与黑夜的全天候检测、识别，检测精度高、时效性强；同时，该喷洒机器人能够实现对作物的均匀喷洒，有效提升喷洒效率与均匀度、避免药液的浪费以及防治效果差等问题。

2、本发明的另一个目的在于提供一种针对田间虫害的识别控制方法。

3、本发明的目的通过以下技术方案实现：

4、一种针对田间虫害的识别控制喷洒机器人，包括探照识别系统、行走机构、机械臂组件、电动水泵、中控系统、药液箱、底盘与传感系统；行走机构设置在底盘底面，用于控制整个喷洒机器人行走；底盘端面前侧固定设置药液箱，底盘端面且位于药液箱两侧对称设置探照识别系统，底盘端面且位于药液箱后端对称设置两个电动水泵且两个电动水泵分别与药液箱连通，底盘端面且位于电动水泵远离药液箱的一侧对称设置机械臂组件且两组机械臂组件之间的底盘端面固定设置中控系统，电动水泵与对应机械臂组件末端设置的仿生喷头构件连通；底盘前端设置传感系统，探照识别系统、行走机构、机械臂组件、电动水泵、传感系统分别与中控系统电性连接。

5、基于上述方案的进一步优化，所述探照识别系统包括第一深度相机、相机支架、系统固定座、防尘罩及第一探照灯，系统固定座分别固定设置在底盘端面且位于药液箱的两侧，一个系统固定座位于远离药液箱的一侧侧面沿竖直方向通过相机支架均匀设置两个第一深度相机且第一深度相机外圈设置防尘罩，系统固定座位于远离药液箱的一侧侧面上端设置第一探照灯。

6、基于上述方案的进一步优化，所述机械臂组件包括转动底座、支撑台、伺服电机、第一机械臂、连杆机构、第二机械臂、控制电机与仿生喷头构件，转动底座与底盘端面转动连接且转动底座端面固定设置支撑台；第一机械臂转动设置在支撑台端面且第一机械臂远离支撑台的一端与第二机械臂转动连接，第二机械臂后端（即两组机械臂组件相互靠近的一端）转动设置连杆机构且连杆机构远离第二机械臂的一端与第一机械臂的转轴转动连接；伺服电机固定设置在支撑台上、用于控制第一机械臂的转动；第二机械臂远离与其对应的连杆机构的一端（即两组机械臂组件相互远离的一端）通过固定支座设置仿生喷头构件，且固定支座上对应仿生喷头构件设置控制电机。

7、基于上述方案的进一步优化，所述仿生喷头构件包括喷头设置板、喷头、多组法兰盘、多个球笼传动关节、连通软管与驱动钢丝，喷头设置板上均匀设置多个喷头且喷头设置板与固定支座之间通过间隔设置的多组法兰盘与多个球笼传动关节连接，与喷头设置板及固定支座连接的均为法兰盘（即球笼传动关节位于两组法兰盘之间）；法兰盘对应喷头且位于球笼传动关节外圈开设软管孔、固定支座上对应开设软管孔，连通软管一端与对应的喷头连通，其（即连通软管）另一端一次贯穿各个法兰盘上的软管孔以及固定支座上的软管孔后、与对应的电动水泵连通；法兰盘位于软管孔的外圈开设四个钢丝孔、固定支座上对应开设钢丝孔，固定支座上设置的控制电机为四个且驱动钢丝对应控制电机设置、即驱动钢丝为四根，驱动钢丝一端缠绕在对应的控制电机输出轴上，其（即驱动钢丝）另一端依次贯穿固定支座上的对应钢丝孔以及各个法兰盘上的对应钢丝孔后、与靠近喷头设置板的法兰盘固定连接。

8、基于上述方案的进一步优化，所述传感系统用于作为底盘移动的道路导航和障碍识别，包括固定块、激光雷达、第二深度相机与第二探照灯，固定块固定设置在底盘底面前端且位于行走机构之间，固定块上依次设置激光雷达、第二深度相机与第二探照灯。

9、一种针对田间虫害的识别控制方法，采用如上所述的喷洒机器人中的探照识别系统进行田间虫害的识别，包括：

10、步骤一、首先，对两个第一深度相机分别进行单目标定，以矫正深度相机成像过程中的光学畸变；然后，对两个第一深度深度相机进行双目立体视觉标定，获取用于双目校正的重投影矩阵、像素距离与真实物理距离的转换关系；

11、步骤二、根据时间与光照强度的不同，对应开启探照识别系统中的探照灯、从而为对应第一深度相机提供照明度，采用改进的yolov8算法对作物的虫害进行实时监测，并识别其对应种类（例如：棉铃虫成虫或幼虫、其他有害于棉花的虫害等）与数量；

12、步骤三、通过步骤二中得到的虫害图像、获取虫害的二维坐标，并将其转换为三维空间坐标；

13、步骤四、通过步骤三获得拟定深入点的三维空间坐标、并将其转换为机械臂组件坐标系下的三维空间坐标，控制对应机械臂组件运动；并根据步骤二中得到的虫害对应种类与数量，控制电动水泵喷射对应的药剂用量。

14、基于上述方案的进一步优化，所述步骤一中对两个第一深度相机分别进行单目标定，以矫正深度相机成像过程中的光学畸变的具体步骤为：

15、首先，采用一个棋盘标定板、它的角点在世界坐标系统的位置时已知的，通过摄像头分别拍摄多张棋盘标定板的图片、确保棋盘标定板在不同的角度和位置；然后，使用角点检测算法（例如：opencv 库中用于检测棋盘格角点的函数cv2.findchessboardcorners）在每张图片中找到棋盘标定板的角点；最后，利用特征点在图片与世界坐标系中的对应关系，使用张正友标定法（例如：opencv 库中实现张正友标定法的函数cv2.calibratecamera）计算每个第一深度相机的内参矩阵和畸变系数，其中，内参矩阵包括主点坐标 （cx ,cy ）与焦距 fx 、fy，畸变系数包括径向畸变系数 k1 、k2 、k3和切向畸变系数 p1 、p2。

16、基于上述方案的进一步优化，所述步骤一中对两个第一深度深度相机进行双目立体视觉标定，获取用于双目校正的重投影矩阵、像素距离与真实物理距离的转换关系具体为：

17、首先，通过内参矩阵获取一个畸变图像点 （xd ,yd ）的归一化坐标点 （xn ,yn ）：

18、；

19、然后，采用畸变系数获取畸变后的坐标点 （xc ,yc ）：

20、

21、其中：；

22、最后，将归一化坐标转换回图像坐标 （xu ,yu ）：

23、

24、基于上述方案的进一步优化，所述步骤二中采用改进的yolov8算法实时监测作物虫害的具体方法为：

25、首先，对输入的虫害图像进行预处理（如调整大小、裁剪等），以适应模型的输入尺寸要求；然后，通过骨干网络backbon的一系列卷积层（conv）、批量归一化（instancenormalization）和激活函数（elu）识别图像的基本特征（如边缘、纹理、形状等）；之后，通过c2f模块对输入图像进行处理，将其转换为一系列的特征；再然后，通过颈部网络neck对提取的特征进行进一步处理；随后，采用头部网络head detection实现对图像中目标的检测；具体表示为：

26、；

27、式中： x表示输入图像； f表示特征提取函数（由backbone和neck组成）； p表示预测函数（即head部分）；y表示模型输出，包括边界框的坐标、大小、置信度和类别概率等；

28、在整个训练过程中，改进的yolov8算法同时使用损失函数来指导学习过程，具体为：

29、

30、式中：表示模型的预测值， yt表示真实标签；表示模型总损失函数，、分别表示有目标和无目标物体的置信度损失；表示类别损失；表示边界框损失；分别表示平衡不同损失项的超参数。

31、基于上述方案的进一步优化，所述步骤二中识别虫害对应种类与数量的具体方法为：

32、首先，收集包含两种虫害（如棉铃虫成虫、幼虫，或虫害a、虫害b等）的图像数据集、记为，其中， ii表示单张图像；并将图像数据集划分为训练集、验证集和测试集，再使用标注工具为每个虫害添加边界框与类别标签；

33、然后，使用标注好的图像数据集（即训练集）训练改进yolov8模型，训练过程中，yolov8模型学习如何检测和分类不同的虫害；

34、之后，使用训练好的yolov8模型进行目标检测，获取虫害的边界框与类别预测；对于每个检测对象，yolov8模型输出检测向量，其中，表示边界框的坐标和尺寸， s表示置信度分数；

35、再然后，对检测得到的边界框进行非极大值抑制，以去除重叠的边界框，保留最高的置信度边界框；

36、随后，将yolov8模型的检测结构作为输入，通过deepsort的运动信息和外观特征关联帧间的候选区域，形成稳定的害虫轨迹；第 t帧跟踪到的还成功轨迹集合为：

37、；

38、其中，表示第 j条轨迹在时间窗口内的边界框和类别信息； mt表示当前活跃的轨迹数量；

39、；

40、式中：表示在时间点的对应帧中、第 k个检测到的边界框的坐标；表示在时间点的对应帧中、对应于边界框的类别置信度，表示当前时间点，即在讨论的时间窗口的最右侧或最新的时间点；表示时间窗口长度；

41、最后，对于每一条轨迹，根据其包含的所有帧的类别置信度 cx，通过设定各个虫害类别的置信度阈值 cd，确定虫害类别：

42、若，则该轨迹的虫害属于对应类别；反之，则不属于；

43、统计各个轨迹的类别，分别计算两类害虫 ca 、cb的数量 na 、nb：

44、；

45、式中：表示指示函数，当条件成立时、取值为1，否则取值为0。

46、基于上述方案的进一步优化，所述对检测得到的边界框进行非极大值抑制，以去除重叠的边界框，保留最高的置信度边界框具体为：

47、将所有检测得到的边界框按照置信度分数 s进行从高到低的排序，若边界框为 bi、则其对应的置信度分数为 si；选取置信度最高的边界框 bh及其对应的置信度分数 sh，分别计算 bh与其后续的每个边界框 bj（ j>1）的交并比 iou(bh , bj )：

48、；

49、预设交并比阈值 ioud ，若，则边界框 bj与 bh重叠，去除重叠边界框、更新去除后的边界框并排序；反之，则保留并将进行下一边界框的验证，直至没有多余的边界框需要处理。

50、基于上述方案的进一步优化，所述步骤三中将虫害的二维坐标转换为三维空间坐标具体方法为：

51、首先，获取虫害检测框中心点在像素坐标系下的二维坐标 (xo ,yo )：

52、；

53、式中： (xr ,yr )、(xl ,yl )分别表示检测框左上角与右下角的坐标点；

54、然后，通过像素坐标系与相机坐标系之间的空间映射关系，完成虫害的三维空间坐标转换：

55、

56、式中： (xt ,yt ,zt )表示三维空间坐标； zde表示相机获取的当前点深度值；

57、为了降低野外环境下光照等不利条件对相机深度值获取带来的不利影响，实现相机深度值的精准性，首先，同步获取检测框中心点的二维坐标 (xo ,yo )及其附近8个点的深度值，记为 zi（ i=1,2,…,9）；然后，获取9个点的深度值的中位值 zmid，将除检测框中心点的二维坐标 (xo ,yo )的深度值之外的其余8个深度值分别与中位值 zmid作差，获得比较值 zbi：

58、

59、若，则将对应的深度值视为异常值进行剔除；

60、最后，将异常值剔除后剩余的深度值与检测框中心点的二维坐标 (xo ,yo )对应的深度值进行平均处理，获得相机当前点的深度值 zde。

61、基于上述方案的进一步优化，所述步骤四中虫害的拟定深入点为与图像中最内侧虫害的位置向外延伸3cm的点。

62、以下为本发明所具备的技术效果：

63、本技术通过搭载探照识别系统、行走机构、机械臂组件、电动水泵、中控系统、药液箱、底盘与传感系统的喷洒机器人，实现昼夜不间断的全天后对棉花虫害进行监测与识别，进而提高病虫害的管理时效性与准确性、避免虫害处理不及时而对棉花作物造成不可逆的伤害，进而造成作物减产、虫害泛滥等问题；同时，通过对病虫害的精准监测与识别，能够有助于实现药剂的精准投放、减少化学药剂的使用，避免化学药剂的浪费、同时避免生态环境的污染，有效确保棉花的质量与产量、避免滥用化学药剂导致作物突变。此外，本技术通过仿生喷头构件的设置、采用仿莲蓬多嘴喷头机构的设计，能够针对不同种类、不同时期的虫害进行针对性的喷洒、防治，同时，仿生喷头构件能够在垂直和水平方向上进行精确调整、并且可以实现深入喷洒，确保药剂能够均匀覆盖作物上、下侧及内侧，提升喷头的增覆盖范围，从而显著提高喷洒效率和均匀度。

64、对于虫害的识别，本技术采用改进的yolov8算法，能够高效、精准的识别虫害，同时，通过yolov8算法与deepsort的配合，实现虫害运动轨迹的获取，进而精准获取虫害的种类、数量，为仿生喷头构件提供准确的目标信息。本发明通过集成化设计和智能视觉控制技术，大幅提升了农业喷药作业的效率与精准度，实现了病虫害的实时监测，进而最大程度解决了作物种植过程中、虫害的影响。