一种基于语义分割的果穗缺陷检测模型、方法和系统

本发明属于果穗缺陷检测，具体涉及一种基于语义分割的果穗缺陷检测模型、方法和系统。

背景技术：

1、果穗类作物不仅在农业领域具有重要地位，同时对国家经济具有深远的影响。然而，果穗类作物的外观品质直接关系到其市场价值，而果穗表面缺陷是影响果穗外观品质的主要因素。这些问题不仅降低了果穗类作物的质量，也对果穗类作物产业链的正常运作造成了负面影响。因此，对果穗表面缺陷进行高效且精确的检测显得格外关键。目前，果穗缺陷检测过程主要依赖于效率较低、易受主观因素影响的传统人工视觉判断，这限制了果穗缺陷采后加工的进一步发展。因此，为了果穗类作物产业发展，如何降低检测成本、提高果穗缺陷检测效率及准确率已经成为了热门的研究话题。

2、数字图像处理技术的发展为解决这一问题提供了新的思路，通过对图像进行滤波、灰度化、二值化等预处理操作，提取出形状、纹理、颜色等特征进行识别。这种基于数字图像处理方法已经广泛应用于农业领域的检测和识别，涵盖小麦、黄瓜、番茄、苹果等多种作物。尽管数字图像处理在图像信息处理和特征提取方面具有一定的快速处理能力，但这些方法在实际应用中受到光照和背景等环境因素的影响，可能导致识别准确率的下降。近年来，随着计算机硬件和深度学习技术的飞速进展，图像识别领域取得了重大突破，特别是在分类、目标检测及语义分割等任务中展现了其卓越的应用潜力。虽然语义分割技术已在农业领域展现出其突出的识别性能，但关于果穗类作物的采后缺陷检测研究仍然较少。现有的缺陷检测方法中存在高计算成本、效率低、准确性低的问题，限制了其在实际果穗缺陷检测中的实用性。

技术实现思路

1、发明目的：本发明提出一种基于语义分割的果穗缺陷检测模型、方法和系统，其目的在于解决现有方法高计算成本、效率低、准确性低的问题。

2、技术方案：本发明提出一种基于语义分割的果穗缺陷检测模型、方法和系统，所述模型核心架构采用编码器-解码器结构对称设计，依次由编码器和解码器组成，并引入跳跃连接；其中，所述编码器和解码器均引入了多尺度条形卷积注意力模块(multi-scalestrip convolutional attention block，mscab模块)。

3、进一步的，所述编码器包括卷积层、bn层、relu激活函数层、下采样和特征融合。

4、进一步的，所述解码器包括卷积层、bn层、relu激活函数层、上采样和特征融合。

5、进一步的，所述mscab模块包括：5×5卷积(conv 5×5)、三种尺度的1×k和k×1条形卷积、1×1卷积组合，其中，k≥1，且k为整数。

6、进一步的，所述mscab模块主要步骤为：利用5×5卷积来进行局部特征的聚合，接着利用三种尺度的1×k和k×1条形卷积进行卷积运算，最后通过1×1卷积实现图像关键特征的跨通道整合和交互，其中，三种尺度的1×k和k×1条形卷积组合参数量表达为：

7、

8、parameters为1×k和k×1条形卷积组合参数量，cin、cout分别为输入通道数、输出通道数；

9、整个多尺度条形卷积注意力模块表达为：

10、

11、out为mscab模块输出，f作为原始特征输入，conv1×k和convk×1为多尺度条形卷积，scalei将多个分支的卷积特征聚合，注意力加权操作是将conv1×1拟合各个尺度卷积特征与原始特征f进行元素矩阵的乘法运算。

12、本发明还提出一种基于语义分割的果穗缺陷检测模型的方法，步骤为：

13、s1、数据准备：构建用于训练检测模型的果穗图像数据集，对数据集进行语义分割标注，将带有标注的数据集分为训练集和测试集两部分；

14、s2、训练模型：利用训练集对检测模型进行训练，并设置合适的损失函数；

15、s3、评估模型：利用测试集对训练后的检测模型进行评估；

16、s4、应用模型：通过评估通过后的检测模型进行果穗缺陷检测。

17、进一步的，所述步骤s1中果穗图像数据集中图像格式包括rgb图像格式。

18、进一步的，所述步骤s2中损失函数为复合损失函数，其中所述复合损失函数由：交叉熵损失和dice损失组成，其表达为：

19、l＝lce+ldice   (3)

20、lce是交叉熵损失，ldice是dice损失。

21、进一步的，所述步骤s3中评估采用综合评价体系，包括评估模型在精确度及分割质量上的性能、模型的实用性，其中使用像素级准确度、交并比以及dice系数评估模型在精确度及分割质量上的性能，使用计算复杂度、模型参数量、响应时间和每秒处理帧数评估模型实用性。

22、本发明还提出一种基于语义分割的果穗缺陷检测模型系统，包括硬件部分和软件部分，其中，硬件部分包括检测物放置台、拍照机构和图像传输机构；软件部分包括果穗缺陷检测模型所集成到的应用程序。

23、有益效果：本发明以unet为基础架构，核心架构采用编码器-解码器结构对称设计，依次由编码器和解码器组成，并引入跳跃连接；其中，编码器和解码器均引入了多尺度条形卷积注意力模块。通过将多尺度条形卷积注意力模块融入编码器和解码器，可以在显著降低了模型的参数量同时，在不同尺度上有效捕获和强化图像特征，实现对图像从局部细节到整体的全面理解和准确分割，确保了运行效率符合实际生产部署需求。

技术特征：

1.一种基于语义分割的果穗缺陷检测模型，其特征在于，所述模型核心架构采用编码器-解码器结构对称设计，依次由编码器和解码器组成，并引入跳跃连接；其中，所述编码器和解码器均引入了多尺度条形卷积注意力模块。

2.根据权利要求1所述的一种基于语义分割的果穗缺陷检测模型，其特征在于，所述编码器包括卷积层、bn层、relu激活函数层、下采样和特征融合。

3.根据权利要求1所述的一种基于语义分割的果穗缺陷检测模型，其特征在于，所述解码器包括卷积层、bn层、relu激活函数层、上采样和特征融合。

4.根据权利要求1所述的一种基于语义分割的果穗缺陷检测模型，其特征在于，所述多尺度条形卷积注意力模块包括：5×5卷积、三种尺度的1×k和k×1条形卷积、1×1卷积组合，其中，k≥1，且k为整数。

5.根据权利要求4所述的一种基于语义分割的果穗缺陷检测模型，其特征在于，所述多尺度条形卷积注意力模块主要步骤为：利用5×5卷积来进行局部特征的聚合，接着利用三种尺度1×k和k×1条形卷积进行卷积运算，最后通过1×1卷积实现图像关键特征的跨通道整合和交互，其中，三种尺度的1×k和k×1条形卷积组合参数量表达为：

6.根据权利要求1-5任一项所述的一种基于语义分割的果穗缺陷检测方法，其特征在于，包括以下步骤：

7.根据权利要求6所述的一种基于语义分割的果穗缺陷检测方法，其特征在于，所述步骤s1中果穗图像数据集中图像格式包括rgb图像格式。

8.根据权利要求6所述的一种基于语义分割的果穗缺陷检测方法，其特征在于，所述步骤s2中损失函数为复合损失函数，复合损失函数由交叉熵损失函数和dice损失组成，表达为：

9.根据权利要求6所述的一种基于语义分割的果穗缺陷检测方法，其特征在于，所述步骤s3中的评估采用综合评价体系，综合评价体系包括评估模型在精确度及分割质量上的性能、模型的实用性，其中使用像素级准确度、交并比以及dice系数评估模型在精确度及分割质量上的性能，使用计算复杂度、模型参数量、响应时间和每秒处理帧数评估模型实用性。

10.根据权利要求1-5任一项或6-9任一项所述的一种基于语义分割的果穗缺陷检测系统，其特征在于，由硬件部分和软件部分组成，其中，硬件部分包括检测物放置台、拍照机构和图像传输机构；软件部分包括检测模型所集成到的应用程序。

技术总结本发明涉及一种基于语义分割的果穗缺陷检测模型、方法和系统，所述模型核心架构采用编码器‑解码器结构对称设计，依次由编码器和解码器组成，并通过跳跃连接在编码器和解码器之间接进行原始特征传递；其中，所述编码器和解码器均引入了多尺度条形卷积注意力模块，本发明能够在准确识别果穗表面缺陷的同时，解决了现有方法大尺度卷积核带来的高计算成本、效率低的问题。技术研发人员：杨明超,陈日耀,胡福初,王祥和受保护的技术使用者：海南省农业科学院热带果树研究所技术研发日：技术公布日：2024/11/18