基于YOLOv7-RA的火龙果品质与成熟度双指标检测方法、装置、计算机可读存储介质及产品

本发明涉及火龙果检测，特别涉及一种基于yolo v7-ra的火龙果品质与成熟度双指标检测方法、装置、计算机可读存储介质及产品。

背景技术：

1、我国火龙果产业发展迅猛，现已成为全球第一大火龙果生产国。随着种植面积不断扩大，现阶段其产业面临如下问题：一是当下以人工为主的果实采摘工作效率低且无法准确掌握最佳采摘时间，影响产量与品质，导致生产的标准化与产业化水平低；二是随着国内劳动力紧缺，人工成本逐年提高，严重影响火龙果产业的健康发展。因此，降低生产成本，提高采摘效率，实现火龙果机械化、智能化采摘迫在眉睫。目标检测技术因其具有自动、高效、准确的特点，是实现自动化采摘的关键。

2、近年来，目标检测技术不断创新，针对果实检测的研究已经取得一定进展。随着神经网络技术的不断突破，基于深度学习的目标检测方法发展迅速，与基于特征的传统机器视觉方法相比，基于深度学习的目标检测方法能够同时学习到低维度和高维度的特征，具有更高的精度和更好的泛化能力。周佳良等采用幽灵卷积注意力模块来替换yolo v5网络中的c3模块，实现火龙果识别准确率为96.2％。商枫楠等将cbam(convolutional blockattention module)添加到yolox-nano主干网络，实现在自然环境下火龙果检测ap0.5为98.9％。nan等提出wgb-yolo网络实现火龙果多果检测，检测map为86.0％。wang等设计轻量级yolo v4-lite17模型，采用mobilenet-v3网络作为yolo v4骨干网，并引入了注意机制，使火龙果识别平均准确率达到96.48％。以上研究是针对果实的粗粒度检测，没有考虑果实细粒度的性能特征，如果实品质、成熟度。

3、研究人员已经认识到果实成熟度、病害、品质、轮廓姿态等具体性能指标识别对生产应用的重要性，并提出了针对性的研究方案。如马瑞峻等提出pitaya-yolo v5模型对火龙果成熟度进行识别，使用k-means++算法重新生成锚框，将cspdarknet替换成pplcnet作为骨干网络，加入se(squeeze and excitation)注意力模块和加权双向特征金字塔网络(bi-fpn)，并引入αdiou损失函数，最终模型的平均精度均值为94.90％，平均检测速度达到20.2ms。朱立学等设计注意力残差u-net图像分割网络，利用图像处理技术和相机成像模型进行火龙果三维姿态估计，实现火龙果图像分割和姿态估计。

4、现有研究虽然取得一定成效，但仅限于检测单一细粒度指标，很少有研究关注果实多性能指标，且缺少大规模的数据集，难以满足农业真实场景的需要，在实际应用中具有局限性。

技术实现思路

1、本发明的目的是提供一种基于yolo v7-ra的火龙果品质与成熟度双指标检测方法、装置、计算机可读存储介质及产品以期实现复杂背景下火龙果品质与成熟度双指标的精准检测。

2、为实现上述目的，本发明提供了如下方案：

3、第一方面，本发明提供了一种基于yolo v7-ra的火龙果品质与成熟度双指标检测方法，包括：

4、采集数据集；所述数据集为火龙果图像；

5、对所述数据集进行数据扩充和图像增强；

6、根据火龙果品质与成熟度指标对数据扩充和图像增强后的数据集进行标注并划分数据集，得到训练集、验证集和测试集；

7、构建火龙果品质与成熟度双指标检测模型；所述火龙果品质与成熟度双指标检测模型为yolo v7-ra网络模型，具体包括：主干网络模块、特征融合模块以及检测头模块；所述主干网络模块、特征融合模块以及检测头模块依次连接；

8、将火龙果图像输入至所述主干网络中，得到中间层、中下层和底层特征，并将所述中间层、中下层和底层特征输入至所述特征融合模块进行集中融合，得到融合后的特征；

9、将融合后的特征输入至所述检测头模块，得到预测结果；

10、基于所述预测结果、损失函数以及所述训练集对所述火龙果品质与成熟度双指标检测模型进行训练；

11、将火龙果图像输入至训练好的火龙果品质与成熟度双指标检测模型中，得到火龙果的位置、类别以及置信度信息，实现火龙果品质与成熟度双指标检测。

12、可选的，对所述数据集进行扩充和增强具体包括以下步骤：

13、采用stylefan2-ada自适应鉴别器增强的样式生成对抗网络对所述数据集进行扩充；所述stylefan2-ada网络包括：生成器和判别器；

14、采用伽马变换对所述数据集进行数据增强。

15、可选的，所述主干网络包括：第一cbs卷积网络、第二cbs卷积网络、第三cbs卷积网络、第四cbs卷积网络、第一elan_r3模块、第一mp1模块、第二elan_r3模块、第二mp1模块、第三elan_r3模块、第三mp1模块以及第四elan_r3模块；所述第一cbs卷积网络、第二cbs卷积网络、第三cbs卷积网络、第四cbs卷积网络、第一elan_r3模块、第一mp1模块、第二elan_r3模块、第二mp1模块、第三elan_r3模块、第三mp1模块以及第四elan_r3模块依次连接。

16、可选的，所述特征融合模块包括：第五cbs卷积网络、第六cbs卷积网络、sppcspc模块、acmix混合注意力机制模块、第七cbs卷积网络、第一上采样模块、第一cat+elan-w模块、第八cbs卷积网络、第二上采样模块、第二cat+elan-w模块、第三cat+elan-w模块、第一mp2模块、第四cat+elan-w模块以及第二mp2模块；

17、所述第五cbs卷积网络的输入端与所述第二elan_r3模块连接，输出端与所述第二cat+elan-w模块的输入端连接；

18、所述第六cbs卷积网络的输入端与所述第三elan_r3模块连接，输出端与所述第一cat+elan-w模块的输入端连接；

19、所述sppcspc模块、acmix混合注意力机制模块、第七cbs卷积网络、第一上采样模块、第一cat+elan-w模块、第八cbs卷积网络、第二上采样模块以及第二cat+elan-w模块依次连接；

20、所述第三cat+elan-w模块、第一mp2模块、第四cat+elan-w模块以及第二mp2模块依次连接；

21、所述sppcspc模块的输出端与所述第三cat+elan-w模块的输入端连接；

22、所述第一cat+elan-w模块的输出端与所述第四cat+elan-w模块的输入端连接。

23、可选的，所述检测头模块包括：

24、第一rep+cbm模块、第二rep+cbm模块以及第三rep+cbm模块；

25、所述第一rep+cbm模块与所述第三cat+elan-w模块的输出端连接；

26、所述第二rep+cbm模块与所述第四cat+elan-w模块的输出端连接；

27、所述第三rep+cbm模块与所述第二at+elan-w模块的输出端连接。

28、可选的，所述第一elan_r3模块、第二elan_r3模块、第三elan_r3模块以及第四elan_r3模块的结构均相同，具体包括：第一分支和第二分支；

29、所述第一分支经过一个cbs卷积调整通道；

30、所述第二分支经过一个cbs卷积调整通道后，再经过4个cbs卷积、2个res3模块和conv卷积，做特征提取。

31、可选的，所述基于扩充和增强后的数据集对所述火龙果品质与成熟度双指标检测模型进行训练的过程中采用的损失函数为：

32、loss＝0.1losscrood+0.125losscls+0.05lossciou

33、其中，losscrood表示目标置信度损失函数，losscls表示类别损失函数，lossciou表示边界框损失函数；

34、

35、

36、其中，loss表示yolo v7-ra损失函数，b表示预测框中心点，bgt表示真实框中心点，ρ表示计算两个中心点之间的欧氏距离，w、h分别表示边界框的宽度、高度，γ表示适用于做权衡的参数，v表示衡量长度比一致性的参数，c表示能够同时包含预测框与真实框的最小闭包区域的对角线距离，wgt、hgt分别表示真实框的宽度和高度，liou表示普通质量锚框的iou损失函数，m表示样本总数，zk表示第k个样本的所属类别，qk表示第k个样本的预测值。

37、第二方面，本发明提供了一种计算机装置，包括：存储器、处理器以存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序以实现第一方面所述方法的步骤。

38、第三方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现第一方面所述方法的步骤。

39、第四方面，本发明提供了一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序/指令被处理器执行时实现第一方面所述方法的步骤。

40、根据本发明提供的具体实施例，本发明公开了以下技术效果：

41、本发明对复杂真实环境下火龙果品质与成熟度双指标检测方法展开研究，构建复杂背景火龙果数据集，通过图像增强技术改善光照(天气、光线)环境，并对当前网络精度与性能优势相对均衡的yolo v7网络进行改进，提出yolo v7-ra模型，该模型设计elan_r3结构来重构yolo v7主干网络，在主干网和检测头之间加入acmix模块，能够实现复杂背景下火龙果品质与成熟度双指标的精准检测，为火龙果智能化采摘装置的研发提供新方法、新思路。