一种基于改进的U-net苹果图像分割方法和装置

本发明实施例涉及图像分割，尤其涉及一种基于改进的u-net苹果图像分割方法和装置。

背景技术：

1、目前，苹果主要依靠人工收割，人工收割的季节性劳动力需求旺盛容易导劳动力短缺以及劳动力成本高。机械收割是一种广泛的利用摇动和捕获系统对树干或树枝施加振动以收集果树作物的收割方法。与传统的人工采摘相比，机械收割具有高效和适用大面积的优点，然而，它往往会导致苹果损伤而降低苹果的价值。因此，寻求技术创新以减少对人工劳动力的依赖及降低苹果损伤，而使用机器人进行选择性采摘。机器视觉系统对提高机器人采摘的效率至关重要。图像分割是机器视觉中的一项关键任务，机器人选择性采摘依赖于图像分割。

2、现有的技术如专利文献cn2020114271911公开的一种基于u-net网络的青苹果图像分割方法及系统，该方法只考虑了青苹果的图像分割，不具有广泛性，同时未公布分割青苹果图像的准确率。技术文献(樊一杉.基于深度学习的苹果图像语义分割方法研究[j].智慧农业导刊,2023,3(16):5-10.)提出了一种基于deeplabv3+网络结构分割苹果图像，未分割真实场景下拍摄的苹果图像，误差较大，不具有通用性。

技术实现思路

1、为了解决现有技术中的问题，本发明提供一种基于改进的u-net苹果图像分割方法和装置，以实现对真实场景下拍摄的苹果图像的快速和准确的分割。

2、第一方面，本发明提供了一种基于改进的u-net苹果图像分割方法，包括：

3、s1、获取真实场景下的苹果图像并进行预处理，将预处理后的苹果图像数据作为数据集；

4、s2、通过所述数据集对苹果图像分割网络进行训练，以得到训练好的苹果图像分割网络；所述苹果图像分割网络为改进的u-net网络；

5、s3、通过训练好的苹果图像分割网络对苹果图像进行分割，以得到苹果图像的分割结果。

6、可选的，所述s1具体包括：

7、s11：根据苹果园的环境以及苹果的成熟度，在不同的时间段对成熟度不同的苹果分别进行拍摄，从而获得原始的苹果图像；

8、s12：对原始的苹果图像进行标注；

9、s13：对标注后的苹果图像进行水平翻转和垂直翻以得到增强后的数据集；

10、s14：把数据集按照比例划分为训练集，验证集和测试集。

11、可选的，所述苹果图像分割网络以u-net网络为基础，包括依次连接的编码部分、跳跃连接、解码部分；

12、其中，编码部分的主干网络为resnnet50网络并通过迁移学习将训练好的权重加到resnet50网络上、跳跃连接处为改进的语义对齐结构、解码部分包括残差网络和上采样模块。

13、可选的，所述改进的语义对齐结构引入了cbam注意力机制，改进了局部通道的高斯函数并在其全局通道中加入残差网络。

14、可选的，所述s2具体包括：

15、通过编码部分对数据集进行初步特征提取，以得到初步特征；

16、将所述初步特征送入改进的语义对齐结构中进行信息重构，以得到重构后的特征图；

17、将所述初步特征和重构后特征图传输至解码部分，以供解码部分进行网络训练。

18、可选的，将所述初步特征送入改进的语义对齐结构中进行信息重构，包括：

19、将编码部分提取的初步特征f∈rc*h*w经全局通道信息结构和局部通道信息结构的重组得到重构的矩阵d(f)∈rc*h*w，将初步特征f∈rc*h*w经过cbam注意力机制的计算得到重构后的特征图f″；

20、初步特征f∈rc*h*w经过改进的语义对齐结构重构后的特征图f′表达式为：

21、

22、式中，表示逐元素乘法，h表示每一帧苹果图片的高度，w表示每一帧苹果图片的宽度，c表示每一帧苹果图片的通道数。

23、可选的，在s2的训练过程中，通过交叉熵损失函数计算每个部分的输出结果与标签结果的距离，并通过不同权重将各部分损失进行叠加；

24、同时，通过梯度反向传播方法，采用adam优化算法和自动学习率对网络中的参数进行调整，以获得训练好的苹果图像分割网络；

25、其中，交叉熵损失函数表达式为：

26、

27、其中，n为类别数，batch为批次大小，yij为真实分布，为网络输出分布。

28、第二方面，本发明实施例还提供一种基于改进的u-net苹果图像分割装置，包括：

29、数据集获取模块，用于获取真实场景下的苹果图像并进行预处理，将预处理后的苹果图像数据作为数据集；

30、训练模块，用于通过所述数据集对苹果图像分割网络进行训练，以得到训练好的苹果图像分割网络；所述苹果图像分割网络为改进的u-net网络；

31、分割模块，用于通过训练好的苹果图像分割网络对苹果图像进行分割，以得到苹果图像的分割结果。

32、本发明的有益效果：

33、1、本发明构建了一种新的苹果图像分割网络，该分割网络以u-net网络为基础，采用resnet50替代u-net网络的主干网络，并引入迁移学习实现了多层特征复用，减少了网络训练时间，在解码部分用残差网络代替普通卷积，从而提升网络的分割准确率。

34、2、本发明在u-net网络的跳跃连接处添加了改进的语义对齐结构，该改进的语义对齐结构引入了cbam注意力机制，改进了局部通道的高斯函数，并在其全局通道中加入残差网络，对苹果图像进行信息重构，从而提升网络的分割准确率。

35、3、本发明中的分割网络通过苹果图像的水平空间和垂直空间两个不同的维度捕获信息，以及从通道与空间位置进行自适应调节不同像素点的特征融合权重，能够更好的获取苹果的细节信息，提高苹果图像分割的准确性。

36、4本发明不仅适用于苹果采摘机器人，对于其它农业机器人的视觉系统具有参考价值。

技术特征：

1.一种基于改进的u-net苹果图像分割方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述s1具体包括：

3.根据权利要求1所述的方法，其特征在于，所述苹果图像分割网络以u-net网络为基础，包括依次连接的编码部分、跳跃连接、解码部分；

4.根据权利要求3所述的方法，其特征在于，所述改进的语义对齐结构引入了cbam注意力机制，改进了局部通道的高斯函数并在其全局通道中加入残差网络。

5.根据权利要求4所述的方法，其特征在于，所述s2具体包括：

6.根据权利要求5的方法，其特征在于，将所述初步特征送入改进的语义对齐结构中进行信息重构，包括：

7.根据权利要求1所述的方法，其特征在于，在s2的训练过程中，通过交叉熵损失函数计算每个部分的输出结果与标签结果的距离，并通过不同权重将各部分损失进行叠加；

8.一种基于改进的u-net苹果图像分割装置，其特征在于，包括：

技术总结本发明公开了一种基于改进的U‑net苹果图像分割方法和装置。其中，该方法包括：获取真实场景下的苹果图像并进行预处理，将预处理后的苹果图像数据作为数据集；通过所述数据集对苹果图像分割网络进行训练，以得到训练好的苹果图像分割网络；所述苹果图像分割网络为改进的U‑net网络；通过训练好的苹果图像分割网络对苹果图像进行分割，以得到苹果图像的分割结果。本发明构建了一种新的苹果图像分割网络，该网络采用ResNet50网络和迁移学习实现了多层特征复用，减少了网络训练时间；采用残差结构避免了梯度消失，改进的语义对齐结构对苹果图像进行信息重构，从而能更好地获取苹果的细节信息，大幅提升了苹果图像分割的准确率。技术研发人员：彭银桥,明海成,王骥,雷桂斌,朱建帮,陈柳云,刘富淼,李雨阳受保护的技术使用者：广东海洋大学技术研发日：技术公布日：2024/9/2