基于改进YOLOv5模型的核桃果实图像处理方法、系统及存储介质

本发明涉及计算机视觉，尤其涉及基于改进yolov5模型的核桃果实图像处理方法、系统及存储介质。

背景技术：

1、在核桃的生产过程中，对核桃树的测产任务可以为农业规划提供重要数据支持。农业管理者可以根据测产结果来优化农业资源的配置，合理安排种植结构，提高农业生产效益。还可以通过了解核桃产量，农民可以更精准地进行施肥和灌溉。这有助于避免浪费农业资源，提高土地利用效率，减少对环境的负面影响。

2、近年来，无人机（uav）可搭载越来越强大的成像设备，为无人机航空目标检测提供了越来越多高质量的航空图像数据。当前无人机被广泛的应用于军事、救援、农业、监测等领域，由于具备更高的飞行能力，得益于其灵活性，它可以采集具有较为丰富的视角、高度、位置的航空图像信息。同时，目标检测领域作为计算机视觉的基本问题之一，随着深度学习的出现，传统的机器学习方法以及手工设计特征逐渐发生了范式的转变，经历了从传统方法阶段到基于深度学习方法阶段的过渡，传统方法需要手动设计特征过程繁琐且效果较差。现在基于深度学习的方法占据了主导位置，大量正在发展的深度学习新方法，也表明了该领域未来的潜力，随着uav与深度学习的迅猛发展，两者结合可以产生更高效的工作方式。由于小目标视觉特征较差、噪声较多，小目标检测已成为计算机视觉中最具有挑战性的任务之一。

3、目前现存针对小目标的深度学习算法都是利用较为复杂的网络结构进行特征提取融合后进行推理，模型复杂度高，计算量巨大，无法满足实时性，不能够部署在无人机等资源匮乏的边缘设备上进行检测任务。

4、上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

技术实现思路

1、本发明的主要目的在于提供一种基于改进yolov5模型的核桃果实图像处理方法，旨在解决如何减小机载边缘计算平台处理核桃果实图像时的算力的问题。

2、为实现上述目的，本发明提供的一种基于改进yolov5模型的核桃果实图像处理方法，所述方法包括：

3、获取无人机采集核桃产区中的待处理核桃果实成像数据；

4、将所述待处理核桃果实成像数据输入至改进yolov5模型，其中，所述改进yolov5模型的主干网络部分包括跨空间学习的多头自注意力机制，特征提取部分包括稀疏连接的渐进式特征融合金字塔结构的特征融合模块；

5、获取经过所述改进yolov5模型处理后输出的目标核桃果实成像数据，以基于所述目标核桃果实成像数据对所述核桃产区中的核桃果实情况进行分析。

6、可选地，所述获取无人机中搭载的传感器采集核桃产区中的待处理核桃果实成像数据的步骤之前，还包括：

7、利用无人机搭载的多种类型的传感器采集核桃产区的环境数据和核桃果实成像数据，

8、标注和预处理所述核桃果实成像数据中的目标类型数据，将处理后的数据进行数据增强得到完整的训练数据集；

9、在yolov5模型架构上进行小目标检测方向的架构优化以及添加注意力机制，利用所述训练数据集对模型进行训练，得到所述改进yolov5模型。

10、可选地，所述环境信息包括核桃产区的地表温度信息数据、核桃产区及区域周边的地形信息数据、无人机的位置信息数据、飞行控制信息和路径规划信息数据，所述核桃果实成像信息包括rgb图像、rgb视频数据、可见光谱/红外光谱图像以及可见光谱/红外光谱视频数据，所述传感器包括：

11、rgb摄像头，用于采集核桃果实的rgb图像和rgb视频数据；

12、红外线热成像摄像头，用于采集核桃产区的地表温度信息数据；

13、多光谱摄像头，用于采集核桃果实的可见光谱/红外光谱图像，以及可见光谱/红外光谱视频数据；

14、激光雷达，用于采集核桃产区及区域周边的地形信息数据；

15、通信设备，用于采集无人机的位置信息数据、飞行控制信息和路径规划信息数据。

16、可选地，所述目标类型数据包括rgb视频数据和可见光谱/红外光谱视频数据，所述标注和预处理所述核桃果实成像数据中的目标类型数据，将处理后的数据进行数据增强得到完整的训练数据集的步骤包括：

17、将获取的所述rgb视频数据和所述可见光谱/红外光谱视频数据，按照预设采样间隔截取成jpg格式的图像，将根据图像的图像类型进行分类存储，分别存储在rgb数据库和多光谱数据库中；

18、对所有图像进行标注；

19、对标注后的所有图像按照预设图像增强参数，以增强图像的对比度、增亮度和锐化度，得到所述训练数据集。

20、可选地，所述跨空间学习的多头自注意力机制包括自我注意力模块；

21、所述自我注意力模块通过归一化指数函数对输入的特征进行转换，以获得查询、键、值、高度和宽度五个矩阵。

22、可选地，所述稀疏连接的渐进式特征融合金字塔结构的特征融合模块具体包括：

23、加权特征融合模块，所述加权特征融合模块利用快速归一化方法，由以下公式定义：

24、

25、其中，是可学习的权重，可以是标量(每个特征)、向量(每个通道)或多维张量(每个像素)，表示提取的特征，表示所有参与融合的特征图中的权重，表示所有权重的总和，通过在每个后应用relu激活函数来确保≥0，并设定学习率= 0.0001。

26、可选地，所述跨空间学习的多头自注意力机制包括自我注意力模块在特征融合过程中，设为第n层到第l层的特征向量在位置（i，j）处，最终的特征向量是为特征向量、 和 的线性组合，其表达式为：

27、

28、其中，、和表示第l层上三个分层要素的空间权重，满足约束条件：

29、。

30、此外，为实现上述目的，本发明还提供一种核桃产量信息管理系统所述核桃产量信息管理系统，包括：机载边缘计算平台、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于改进yolov5模型的核桃果实图像处理程序，所述基于改进yolov5模型的核桃果实图像处理程序被所述处理器执行时实现如上所述的基于改进yolov5模型的核桃果实图像处理方法的步骤。

31、此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有基于改进yolov5模型的核桃果实图像处理程序，所述基于改进yolov5模型的核桃果实图像处理程序被处理器执行时实现如上所述的基于改进yolov5模型的核桃果实图像处理方法的步骤。

技术特征：

1.一种基于改进yolov5模型的核桃果实图像处理方法，其特征在于，应用于机载边缘计算平台，所述方法包括以下步骤：

2.如权利要求1所述的方法，其特征在于，所述获取无人机中搭载的传感器采集核桃产区中的待处理核桃果实成像数据的步骤之前，还包括：

3.如权利要求2所述的方法，其特征在于，所述环境信息包括核桃产区的地表温度信息数据、核桃产区及区域周边的地形信息数据、无人机的位置信息数据、飞行控制信息和路径规划信息数据，所述核桃果实成像信息包括rgb图像、rgb视频数据、可见光谱/红外光谱图像以及可见光谱/红外光谱视频数据，所述传感器包括：

4.如权利要求2所述的方法，其特征在于，所述目标类型数据包括rgb视频数据和可见光谱/红外光谱视频数据，所述标注和预处理所述核桃果实成像数据中的目标类型数据，将处理后的数据进行数据增强得到完整的训练数据集的步骤包括：

5.如权利要求1所述的方法，其特征在于，所述跨空间学习的多头自注意力机制包括自我注意力模块；

6.如权利要求1所述的方法，其特征在于，所述稀疏连接的渐进式特征融合金字塔结构的特征融合模块具体包括：

7.如权利要求1或6所述的方法，其特征在于，所述跨空间学习的多头自注意力机制包括自我注意力模块在特征融合过程中，设为第n层到第l层的特征向量在位置（i，j）处，最终的特征向量是为特征向量、 和 的线性组合，其表达式为：

8.一种核桃产量信息管理系统，其特征在于，所述核桃产量信息管理系统包括：机载边缘计算平台、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于改进yolov5模型的核桃果实图像处理程序，所述基于改进yolov5模型的核桃果实图像处理程序被所述处理器执行时实现如权利要求1至7中任一项所述的基于改进yolov5模型的核桃果实图像处理方法的步骤。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有基于改进yolov5模型的核桃果实图像处理程序，所述基于改进yolov5模型的核桃果实图像处理程序被处理器执行时实现如权利要求1至7中任一项所述的基于改进yolov5模型的核桃果实图像处理方法的步骤。

技术总结本发明涉及计算机视觉技术领域，尤其涉及基于改进YOLOv5模型的核桃果实图像处理方法、系统及存储介质。所述方法包括：获取无人机采集核桃产区中的待处理核桃果实成像数据；将所述待处理核桃果实成像数据输入至改进YOLOv5模型，其中，所述改进YOLOv5模型的主干网络部分包括跨空间学习的多头自注意力机制，特征提取部分包括稀疏连接的渐进式特征融合金字塔结构的特征融合模块；获取经过所述改进YOLOv5模型处理后输出的目标核桃果实成像数据，以基于所述目标核桃果实成像数据对所述核桃产区中的核桃果实情况进行分析。旨在解决如何减小机载边缘计算平台处理核桃果实图像时的算力的问题。技术研发人员：云利军,薛晨,杨璇玺,蔡正达,陈载清,夏跃龙,王挥华受保护的技术使用者：云南师范大学技术研发日：技术公布日：2024/11/18