基于YOLO网络的果树靶标定位和导航线区域分割方法

本发明属于果园机械的自动导航与作业领域，尤其涉及一种基于yolo网络的果树靶标定位和导航线区域分割方法。

背景技术：

1、随着全球卫星定位系统的发展，定位精度在不断提高，导致了gnss、gps和北斗系统在农业自主导航作业中的广泛集成。导航系统是农业机器人的关键组成部分，直接影响着农业机器人的运行效率。农业机械导航自动化是农业智能化发展的一个基本方面。目前，用于农业机械的自动导航系统多种多样，包括全球导航卫星系统(gnss)/自动识别系统(ins)集成定位和自适应方根立方卡尔曼滤波器(asrckf)。然而，使用导航系统需要建立一个预定义的导航基线，然后通过轨迹跟踪算法实时调整驾驶状态，以实现精确的直线跟踪操作。获取导航基线是实现自动导航的关键步骤。

2、机器视觉因其不可替代的视觉信息和低廉的硬件成本被广泛应用于农业机器人导航中。目前，用于自动提取导航线的视觉方法多种多样，包括检测、分割、分类和激光雷达lidar特征提取等方法。在检测方面用于提取导航线的方法，如改进的cs-yolov5模型、经asppf改进的yolov8s模型、yolo-r集成的dbscan以及端到端的yolo网络。针对传统机器视觉识别作物行易受光照和杂草影响、识别精度低、实时性差等问题。目前使用分割算法来获得作物行和导航路径，现有的技术方案中包括：使用基于变压器的语义分割模型；使用三维相机和惯性测量单元(imu)的新型自主导航堆栈，它集成了resnet-50(imu)和注意机制模块；使用基于视觉的融合植被指数和分割方法；使用改进的多尺度高效残差分解卷积神经网络(ms-erfnet)模型；使用半监督学习模型及改进的unet网络。

3、由于三维点云具有信息多维度高、光敏性低等优点，利用激光雷达获取导航线路的研究已经大量开展。现有的技术方案提出了：一种基于线段的低曲率有效道路自由空间(rfs)提取方法；一种fgseg算法，以有效区分水平和斜坡地形，可与用于农业现场环境的多种激光雷达传感器兼容；采用激光雷达直方图方法对可穿越的道路区域、障碍物和水害进行综合检测；基于农用车载激光雷达在农田间提取田间直路。

4、果树识别和果树靶标定位是施药机器人的关键技术，越来越受到研究者和开发者的关注，现有的技术方案中提出了：一种基于子区域生长和剔除离群值的直弯苗行识别方法；一种基于完全集成的三轴平台和安装在移动探测车上的视觉系统的混合自主机器人除草系统，并使用预训练的深度神经网络将获取的空间、颜色和深度信息用于对土壤、主要作物和待清除对象进行分类；采用cbam模块、bifpn结构和双线性插值算法构建了一种新的植物检测模型，可以有效地学习深度信息，并在各种复杂生长状态下区分棉花幼苗中的植物；一种基于宽感受野注意网络(wra-net)的运动模糊图像恢复的新方法，并在此基础上研究了如何提高运动模糊图像中作物和杂草的分割精度。尽管目前在自动导航和靶标检测领域已经取得了重大成就，但仍有几个突出问题需要解决，特别是在果园种植方面。这些问题包括:当自主导航仅依赖于单一特征时，如树间路等可穿越区域，其鲁棒性和可靠性将大大降低。由于大面积果园和果树交替生长模式的复杂背景，地面车辆的实时感知能力受到限制。

技术实现思路

1、针对现有技术中的上述不足，本发明提供的一种基于yolo网络的果树靶标定位和导航线区域分割方法，解决了当前地面机器人因果园背景复杂，视野感知受限导致的导航和作业困难的问题。

2、为了达到上述发明目的，本发明采用的技术方案为：一种基于yolo网络的果树靶标定位和导航线区域分割方法，包括以下步骤：

3、s1、利用无人机获取果园图像；

4、s2、对果园图像依次进行果树靶标目标检测标签处理和导航线分割标签处理，得到无人机果园数据集；

5、s3、根据无人机果园数据集，利用多任务yolo网络，得到可通行区域分割数据和果树位置检测数据；

6、s4、将可通行区域分割数据和果树位置检测数据分别转换为经纬度信息，得到用于果园农药喷施机器人的导航线和果树位置信息，完成果树靶标定位和导航线区域分割。

7、进一步地，所述步骤s2具体为：

8、s201、对果园图像进行筛选，得到筛选后的有效果园图像数据；

9、s202、根据有效果园图像数据，进行果树靶标锚框标注，并对果树植物和田间车道进行分割标签处理，得到无人机果园数据集。

10、进一步地，所述多任务yolo网络包括骨干网络backbone、与骨干网络backbone连接的颈部neck以及与颈部neck连接的预测头head。

11、进一步地，所述骨干网络backbone包括依次连接的focus结构、第一conv2d卷积、第一c2f梯度分流模块、第二conv2d卷积、第二c2f梯度分流模块、第三conv2d卷积、第三c2f梯度分流模块、第四conv2d卷积和spp结构；所述第二c2f梯度分流模块、第三c2f梯度分流模块和spp结构均与颈部neck连接。

12、进一步地，所述颈部neck包括与spp结构连接的第四c2f梯度分流模块、与第四c2f梯度分流模块连接的第五conv2d卷积、与第五conv2d卷积连接的第一upsample上采样、分别与第一upsample上采样和第三c2f梯度分流模块连接的第一concat拼接、与第一concat拼接连接的第五c2f梯度分流模块、分别与第五c2f梯度分流模块和预测头head连接的第六conv2d卷积、与第六conv2d卷积连接的第二upsample上采样以及分别与第二upsample上采样、第二c2f梯度分流模块和预测头head连接的第二concat拼接。

13、进一步地，所述预测头head包括用于航道线可行区域分割的导航线区域分割网络和用于果树靶标的目标检测的果树靶标定位网络。

14、进一步地，所述导航线区域分割网络包括与第二concat拼接连接的第七conv2d卷积、与第七conv2d卷积连接的第六c2f梯度分流模块、与第六c2f梯度分流模块连接的第三upsample上采样、与第三upsample上采样连接的第八conv2d卷积、与第八conv2d卷积连接的第四upsample上采样、与第四upsample上采样连接的第七c2f梯度分流模块、与第七c2f梯度分流模块连接的第九conv2d卷积、与第九conv2d卷积连接的第五upsample上采样、与第五upsample上采样连接的第十conv2d卷积以及和第十conv2d卷积连接的seg_loss损失函数层。

15、进一步地，所述果树靶标定位网络包括与第二concat拼接连接的第八c2f梯度分流模块、与第八c2f梯度分流模块连接的第十一conv2d卷积、分别与第十一conv2d卷积和第六conv2d卷积连接的第三concat拼接、与第三concat拼接连接的第十二conv2d卷积、与第十二conv2d卷积连接的第四concat拼接、与第四concat拼接连接的第九c2f梯度分流模块、分别与第九c2f梯度分流模块连接的三个检测头；各检测头均包括由一个conv卷积、一个conv2d卷积和一个bbox_loss损失层连接的第一分支和由一个conv卷积、一个conv2d卷积和一个class_loss损失层连接的第二分支。

16、进一步地，所述步骤s3中多任务yolo网络的损失函数为：

17、lall＝γ1ldet+γ2lda-seg

18、ldet＝α1lclass+α2lobj+α3lbox

19、lda-seg＝lce

20、其中，lall为多任务yolo网络的损失函数；γ1为检测损失权重；ldet为检测损失；γ2为分割损失权重；lda-seg为分割损失；α1、α2和α3均为超参数；lclass为分类损失，具体为焦点损失函数；lobj为目标损失，具体为焦点损失函数；lbox为边界框损失，具体为clou损失函数；lce为带有logits的交叉熵损失。

21、进一步地，所述步骤s4具体为：

22、s401、将果树位置检测数据转换为经纬度信息，得到果树位置信息；

23、s402、根据可通行区域分割数据，提取可通行区域的色块对应的边缘线数据；

24、s403、过滤可通行区域的色块对应的边缘线数据的噪点，得到导航线像素数据；

25、s404、将导航线像素数据转换为经纬度信息，得到用于果园农药喷施机器人的导航线，完成果树靶标定位和导航线区域分割。

26、本发明的有益效果为：yolo算法需要优质的数据集，本发明可以筛选出优质图片数据集，同时可以让算法以有监督学习的方式，学习果园作业所需要的果园靶标、果园导航线数据信息；本发明通过三个结构，可以实现更好的数据学习，backbone是模型的主要组成部分，通常是一个卷积神经网络(cnn)或残差神经网络(resnet)等。backbone负责提取输入图像的特征，以便后续的处理和分析。backbone通常具有许多层和许多参数，可以提取出图像的高级特征表示。neck是连接backbone和head的中间层。neck的主要作用是对来自backbone的特征进行降维或调整，以便更好地适应任务要求。neck可以采用卷积层、池化层或全连接层等。head是模型的最后一层，通常是一个分类器或回归器。head通过输入经过neck处理过的特征，产生最终的输出结果；通过算法预测到的图像信息，结合图像内的经纬度信息，可以直接翻译转化为果园农药喷施机器人可以直接执行的实际经纬度信息。可以大大减少了人为工作量，提升了作业效率和便捷程度。无须人工果园实地勘察，仅需要无人机规划飞行，然后算法识别，信息转换，就可得到最终可执行的任务信息。本发明集成了c2f梯度分流模块和无锚模块，可以同时进行树间区域分割和果树检测任务，增强了算法的果树靶标检测和树间路识别能力，优化了资源利用率，提高了任务执行效率；可通过利用空中无人机视角解决地面机器人有限的感知能力；本发明所提出的多任务yolo网络具有良好的性能，适用于果园机械的自动导航与作业。