一种果实成熟度检测方法及装置

本发明属于农业检测，特别是一种果实成熟度检测方法及装置。

背景技术：

1、在农业生产中，果实的成熟度自动检测系统对于果实的采摘、贮藏和市场销售具有重要意义。不同时间点和不同生长阶段的果实呈现出不同的成熟度特征，在过早或过晚采摘情况下，都可能导致品质下降和市场价值损失，农民需要准确了解果实的成熟度情况，以便精确安排采摘和管理工作。

2、另外，在现实生产中，果实的采摘工作通常需要在夜间进行，以确保在第二天的早市或市场销售时，能够提供新鲜、优质的农产品，满足次日早市需求。夜间采摘主要基于以下几个原因来满足次日早市需求：首先，夜间气温相对较低，有利于果实保鲜和延长货架寿命；其次，夜间光照条件较差，果实的光合作用减少，有助于减少果实的水分流失和品质损耗；此外，采摘后果实可以在夜间进行初步分类和包装，提前做好销售准备，以确保第二天早市供应的及时性和充足性。然而，夜间采摘需求给机器视觉系统带来一定的挑战。因为光线条件不佳会影响图像的质量和清晰度，夜视环境的果实成熟度检测和定位将变得更加困难，进而影响果实智能采摘的准确性。

3、近年来，国内外学者尝试采用机器视觉及光谱分析方法实现苹果、番茄以及猕猴桃等多种蔬果在不同场景下成熟度的检测。mengyuan liu等基于全卷积单阶段(fcos)目标检测模型实现了对模糊绿色苹果数据集的精确检测和分割方法(computers andelectronics in agriculture,volume 197,2022,106984,issn 0168-1699)。c.song等将改进的轻量化yolov5网络模型用于番茄检测(ieee access,2023,11:37650-37664)。jingshang等利用高光谱成像技术和化学计量算法对猕猴桃品质属性和成熟度进行无损检测(journal of chinese agricultural mechanization,2022,43(8):90-95.)。

4、现有的机器视觉及光谱分析方法对多种蔬果成熟度的检测取得了一定的进展，但面向夜间或低光照条件下的棚室环境，目前的果实成熟度检测方法依然存在明显的局限性，主要包括果实成熟度不均匀状态下分类不准确及弱光环境适应性和鲁棒性的需求未得到充分满足等问题。因此，研究夜视环境下具有高识别率的成熟度自动检测系统对于实现果实自动化采摘具有重要意义。

技术实现思路

1、本发明的目的是提供一种果实成熟度检测方法及装置，以解决现有技术中的不足，能够显著提高在夜间低光照条件下的果实检测、分割和成熟度分类的准确性、效率、适应性和鲁棒性，可为夜间农业自动化采摘提供强有力的技术支持，特别是对于需要在夜间采摘以满足次日早市需求的作物，在农业领域具有较高应用价值。

2、本申请的一个实施例提供了一种果实成熟度检测方法，所述方法包括：

3、利用深度感知摄像头在夜间环境下采集果实图像；

4、将所述果实图像输入预先训练的、基于特定mask r-cnn网络的夜间果实分割与成熟度检测模型，输出检测到的果实区域及成熟度信息，其中，所述特定mask r-cnn网络包括：通道增强特征金字塔网络ce-fpn、指数移动平均ema模块和预设分类损失函数。

5、可选的，所述通道增强特征金字塔网络ce-fpn包括：

6、子像素跳跃融合ssf模块，用于优化含有丰富特征的通道；

7、子像素上下文增强sce模块，用于融合大域局部信息和全局上下文信息以生成更具辨别力的特征；

8、通道注意力引导cag模块，用于减轻ssf和sce融合了更多的跨尺度特征图所带来的混叠效应。

9、可选的，所述预设分类损失函数为：

10、

11、其中，所述n表示样本的数量，所述yi表示真实类别的正负样本概率分布，所述pi表示模型预测的概率分布，所述*表示乘积，所述weighti表示正负样本对应权重。

12、可选的，所述weighti包括：

13、

14、其中，所述weightpos为正样本权重，所述weightneg为负样本权重。

15、可选的，其中，所述预设分类损失函数lw-class根据样本类别匹配对应的权重为：

16、

17、

18、其中，所述total_samples为样本总数，所述num_pos_samples为正样本数，所述num_neg_samples为负样本数。

19、本申请的又一实施例提供了一种果实成熟度检测装置，所述装置包括：

20、采集模块，用于利用深度感知摄像头在夜间环境下采集果实图像；

21、输出模块，用于将所述果实图像输入预先训练的、基于特定mask r-cnn网络的夜间果实分割与成熟度检测模型，输出检测到的果实区域及成熟度信息，其中，所述特定maskr-cnn网络包括：通道增强特征金字塔网络ce-fpn、指数移动平均ema模块和预设分类损失函数。

22、本申请的又一实施例提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项中所述的方法。

23、本申请的又一实施例提供了一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项中所述的方法。

24、与现有技术相比，本发明提供的一种果实成熟度检测方法，通过利用深度感知摄像头在夜间环境下采集果实图像；将所述果实图像输入预先训练的、基于特定mask r-cnn网络的夜间果实分割与成熟度检测模型，输出检测到的果实区域及成熟度信息，其中，所述特定mask r-cnn网络包括：通道增强特征金字塔网络ce-fpn、指数移动平均ema模块和预设分类损失函数，从而能够显著提高在夜间低光照条件下的果实检测、分割和成熟度分类的准确性、效率、适应性和鲁棒性，可为夜间农业自动化采摘提供强有力的技术支持，特别是对于需要在夜间采摘以满足次日早市需求的作物，在农业领域具有较高应用价值。

技术特征：

1.一种果实成熟度检测方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述通道增强特征金字塔网络ce-fpn包括：

3.根据权利要求2所述的方法，其特征在于，所述预设分类损失函数为：

4.根据权利要求3所述的方法，其特征在于，所述weighti包括：

5.根据权利要求4所述的方法，其特征在于，其中，所述预设分类损失函数lw-class根据样本类别匹配对应的权重为：

6.一种果实成熟度检测装置，其特征在于，所述装置包括：

7.根据权利要求6所述的装置，其特征在于，所述通道增强特征金字塔网络ce-fpn包括：

8.根据权利要求7所述的装置，其特征在于，所述预设分类损失函数为：

9.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1-5中任一项所述的方法。

10.一种电子设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1-5中任一项所述的方法。

技术总结本发明公开了一种果实成熟度检测方法及装置，方法包括：利用深度感知摄像头在夜间环境下采集果实图像；将所述果实图像输入预先训练的、基于特定Mask R‑CNN网络的夜间果实分割与成熟度检测模型，输出检测到的果实区域及成熟度信息，其中，所述特定Mask R‑CNN网络包括：通道增强特征金字塔网络CE‑FPN、指数移动平均EMA模块和预设分类损失函数。利用本发明实施例，能够显著提高在夜间低光照条件下的果实检测、分割和成熟度分类的准确性、效率、适应性和鲁棒性，可为夜间农业自动化采摘提供强有力的技术支持，特别是对于需要在夜间采摘以满足次日早市需求的作物，在农业领域具有较高应用价值。技术研发人员：程炎,侯文慧,周传起,龚昌智,孟俊杰,尹志强,王玉伟,饶元,张大山,刘路受保护的技术使用者：安徽农业大学技术研发日：技术公布日：2024/7/29