一种基于语义分割网络的水田田垄区域提取及边界线检测方法及电子设备

本发明涉及一种基于语义分割网络的水田田垄区域提取及边界线检测方法及电子设备，属于智能农机视觉感知领域。

背景技术：

1、智能化自主化农业生产过程中，导航是智能农机设备自主完成各项田间任务的必备条件。目前农机导航的研究主要集中正常田间作业时的自动行走、田间自动避障和自动转向，自动避障和自动转向均涉及到田垄边界的识别，并且农机设备到达田垄时的自主转向研究还很薄弱，大多数情况下仍需要人工操纵。要实现自动避障和自动转向，首先要进行水田田垄区域分割并检测田垄边界线。因此，基于视觉的水田田垄区域提取和边界线检测是水田智能农机自动导航作业的关键，目的在于辅助智能农机设备感知水田环境信息，为实现田间自动避障和自动转向提供参考线。

2、在智能化自主化农业场景中，水田农机设备的田间导航面临着诸多问题，现有的图像分割算法研究也较多，但大多不适用于复杂的水田环境。水田中田垄与非田垄区域颜色难以区分，同时水田环境存在光照变化等干扰因素，以上的诸多影响使得许多分割算法难以检测正确的田垄区域。此外，现有的大多数方法针对田垄边界线提取，只涉及到单边界线检测。智能农机设备为了实现田间自动转向任务，就必须识别田垄的侧边界线以及端边界线。针对以上问题，本发明对水田田垄分割以及多边界线检测提出了相对有效的解决方法。

技术实现思路

1、本发明旨在提供一种基于语义分割网络的水田田垄区域提取及边界线检测方法，该方法对水田田垄分割和边界线提取的精度高，提取的水田田垄边界线可作为智能农机设备自动避障和自动转向的参考线，实现设备在水田田间自动避障和自动转向，保证设备在田间安全自主地运行。

2、为了实现上述目的，本发明所采用的技术方案是：一种水田田垄区域提取方法，包括以下步骤：

3、步骤1)，获取多张历史水田田垄图像，构建数据集，将所述数据集按比例划分出训练集、验证集；其中，所述数据集包括多张所述历史水田田垄图像和对应的标签图；

4、步骤2)，建立语义分割网络，利用所述训练集对所述语义分割网络进行迭代训练，利用所述验证集调整所述语义分割网络的参数，得到所述语义分割网络的预训练模型；

5、步骤3)，将实时获取的水田田垄图像输入到所述预训练模型，得到水田田垄区域与非水田田垄区域的二分类分割掩膜。

6、根据本发明的实施例，还可以对本发明作进一步的优化，以下为优化后形成的技术方案：

7、在其中一个优选的实施例中，所述步骤2)中所述语义分割网络采用基于轻量级网络mobilenetv3的u-net模型，包括编码器、解码器，所述轻量级网络mobilenetv3作为所述编码器用于提取水田田垄图像的深层特征，获取特征图，所述解码器将所述特征图进行扩展，得到与所述水田田垄图像相同尺寸的语义分割结果，在所述编码器提取水田田垄图像的深层特征时，拼接所述编码器中水田田垄图像每一层的浅层特征与深层特征，得到具有多层级结构的新特征；所述水田田垄图像包括多张所述历史水田田垄图像和所述实时获取的水田田垄图像。

8、所述基于轻量级网络mobilenetv3的u-net模型首次用于复杂水田环境的田垄分割任务，能够有效识别田垄区域，对光照不均匀等干扰因素表现出较高的鲁棒性。该模型结合了mobilenetv3的轻量级特性和u-net的语义分割能力，适用于移动端或资源受限环境下的图像语义分割任务。所述轻量级网络mobilenetv3作为编码器用于提取输入图像的特征，通过深度可分离卷积和轻量级网络块来实现轻量级特征提取；所述解码器使用反卷积和上采样操作，将所述编码器输出的特征图进行扩展，得到与输入图像相同尺寸的语义分割结果；所述基于轻量级网络mobilenetv3的u-net模型采用跳层连接，通过将所述编码器中对应层次的特征与所述解码器中对应层次的特征进行连接，实现跨层级信息传递，将低层次的细节信息和高层次的语义信息相结合，提高分割的精度和鲁棒性。

9、所述轻量级网络mobilenetv3可以高效地提取输入图像的深层特征，深层特征包含了丰富的语义信息。然而，由于网络深度的不断加深，mobilenetv3在提取深层特征时会丢失一些浅层特征具有的细节和纹理信息。因此在深层特征提取的过程中，引入跳层连接将每一层的浅层特征与深层特征直接进行拼接得到一个具有多层级结构的新特征。通过跳层连接的方式，浅层特征和深层特征可以在所述轻量级网络mobilenetv3中相互融合和交互，模型可以更好地保留浅层特征提供的细节和纹理信息，同时也能够学习到深层特征提供的更高级别的语义信息。因此，通过跳层连接实现的特征融合可以获得更加全面和具有代表性的特征表示，同时也减轻了所述轻量级网络mobilenetv3在特征提取过程中随着网络深度加深而导致的信息丢失问题，改进网络结构保留更丰富的图像信息，提高模型的性能和泛化能力，使模型能够更准确地进行语义分割任务。

10、基于同一个构思，本发明还提供一种水田田垄区域边界线检测方法，包括以下步骤：

11、步骤4)，获取所述二分类分割掩膜的最大连通区域，所述二分类分割掩膜采用上述水田田垄区域提取方法获取；通过提取最大连通区域可以消除分割结果中的噪声和不连续部分，有效去除孤立的像素点或小区域，得到更具有代表性的水田田垄区域；

12、步骤5)，判断所述最大连通区域是否大于第一阈值τ，若大于所述第一阈值τ，进入步骤6)；

13、步骤6)，利用所述最大连通区域，计算所述水田田垄边界线的特征点，得到水田田垄边界线特征点集合φ1；

14、步骤7)，采用随机采样一致性模型对所述水田田垄边界线特征点集合φ1进行拟合，得到水田田垄边界线，将所述水田田垄边界线在所述实时水田田垄图像上进行可视化，得到可视化边界线检测结果。

15、在其中一个优选的实施例中，所述步骤4)的具体步骤包括：

16、步骤4.1)，将所述二分类分割掩膜转换为二值化图像；即水田田垄区域为白色，非水田田垄区域为黑色；

17、步骤4.2)，确定所述二值化图像中所有连通区域的轮廓，所述连通区域对应水田田垄区域；

18、步骤4.3)，根据连通区域的轮廓计算所有连通区域的面积；

19、步骤4.4)，选取面积最大的连通区域作为待测的水田田垄区域。

20、在其中一个优选的实施例中，所述步骤5)中还包括：若所述最大连通区域小于或等于所述第一阈值τ，停止水田田垄边界线检测。

21、在其中一个优选的实施例中，所述步骤5)中，所述第一阈值τ的获取包括以下步骤：初始化所述第一阈值τ，所述第一阈值τ初始值可设为w/4*h/10，

22、将所述历史水田田垄图像输入到所述预训练模型，得到所述历史水田田垄图像的二分类分割掩膜，将所述历史水田田垄图像的二分类分割掩膜转换为历史水田田垄图像的二值化图像，计算所述历史水田田垄图像的二值化图像中所有连通区域的轮廓，计算所述历史水田田垄图像的二值化图像所有连通区域的面积，选取所述历史水田田垄图像的二值化图像中面积最大的连通区域；

23、将所述历史水田田垄图像的最大连通区域与所述历史水田田垄图像进行对比，调整所述第一阈值τ，直至能够保留所述历史水田田垄图像中有效的水田田垄区域，其中，w为所述历史水田田垄图像的宽度，h为所述历史水田田垄图像的高度；

24、所述第一阈值τ的调整包括具体步骤：若所述历史水田田垄图像的最大连通区域应为有效的水田田垄区域而判断为无效的水田田垄区域，减小所述第一阈值τ，若所述历史水田田垄图像的最大连通区域应为无效的水田田垄区域而判断为有效的水田田垄区域，增大所述第一阈值τ，直至能够保留所述历史水田田垄图像中有效的水田田垄区域。

25、在其中一个优选的实施例中，所述步骤6)包括以下具体步骤：

26、步骤6.1)，从左至右扫描所述最大连通区域的二值化图像的每一列像素；

27、步骤6.2)，再从下至上扫描所述二值化图像每一列上的每个像素点；

28、步骤6.3)，将扫描到的白色的像素点作为特征点，直至扫描结束，得到的所有特征点构成水田田垄边界线的特征点集合φ1。

29、其中，步骤6.1)和步骤6.2)的顺序不可调换，以保证提取的像素点为靠近农机设备侧的边界线的像素点。

30、在其中一个优选的实施例中，所述步骤7)包括以下具体步骤：

31、步骤7.1)，采用随机采样一致性模型对所述水田田垄边界线的特征点集合φ1进行拟合，得到第一边界线l1；

32、步骤7.2)，计算所述水田田垄边界线的特征点集合φ1中的特征点pi到所述第一边界线l1的距离di＝|kxi-yi+b|/(1+k2)，若所述距离di小于或等于第二阈值w，则所述特征点pi为所述第一边界线l1上的特征点，获取所述特征点pi在所述水田田垄边界线的特征点集合φ1中对应的索引值i，得到所述第一边界线l1上所有特征点索引值集合；

33、其中，(xi,yi)为特征点pi的坐标，k表示所述第一边界线l1的斜率，b表示所述第一边界线l1的截距，1≤i≤n，n为所述水田田垄边界线的特征点集合φ1中的特征点数量；

34、步骤7.3)，通过所述第一边界线l1上所有特征点索引值集合中的索引值找到所述水田田垄边界线的特征点集合φ1中索引值对应的特征点，在所述水田田垄边界线的特征点集合φ1删除找到的特征点，得到第二特征点集合φ2；

35、若所述第二特征点集合φ2的特征点数量不大于第三阈值v，则所述实时水田田垄图像检测得到的边界线即为所述第一边界线l1，将所述第一边界线l1在所述实时水田田垄图像上进行可视化，得到可视化边界线检测结果；

36、若所述第二特征点集合φ2的特征点数量大于所述第三阈值v，则将所述第二特征点集合φ2重复所述步骤7.1)，得到第二边界线l2，将所述第一边界线l1和所述第二边界线l2在所述实时水田田垄图像上进行可视化，得到可视化边界线检测结果。

37、在其中一个优选的实施例中，所述第二阈值w和所述第三阈值v的获取过程包括以下步骤：

38、s1，将历史水田田垄图像输入到所述预训练模型，得到历史水田田垄图像的二分类分割掩膜，获取所述历史水田田垄图像的二分类分割掩膜的最大连通区域；

39、s2，判断所述历史水田田垄图像的最大连通区域是否大于第一阈值τ，若大于所述第一阈值τ，继续进行所述历史水天田垄图像的边界线检测；

40、s3，利用所述历史水田田垄图像的最大连通区域，计算所述历史水田田垄图像的田垄边界线的特征点，得到所述历史水田田垄图像的田垄边界线特征点集合φh1；

41、s4，采用随机采样一致性模型对所述历史水田田垄图像的田垄边界线特征点集合φh1进行拟合，得到所述历史水田田垄图像的第一边界线lh1；

42、s5，计算所述历史水田田垄图像的田垄边界线特征点集合φh1中的特征点phj到所述历史水田田垄图像的第一边界线lh1的距离dhj＝|khxhj-yhj+bh|/(1+kh2)，初始化所述第二阈值w，初始值可设为10，若所述距离dhj小于或等于所述第二阈值w，则所述历史水田田垄图像的特征点phj为所述历史水田田垄图像的第一边界线lh1上的特征点，获取所述特征点phj在所述历史水田田垄图像的田垄边界线特征点集合φh1中对应的索引值j，得到所述历史水田田垄图像的第一边界线lh1上所有特征点索引值集合；

43、其中，(xhj,yhj)为特征点phj的坐标，kh表示所述历史水田田垄图像的第一边界线lh1的斜率，bh表示所述历史水田田垄图像的第一边界线lh1的截距，1≤j≤m，m为所述历史水田田垄图像的田垄边界线特征点集合φh1中的特征点数量；

44、s6，通过所述历史水田田垄图像的第一边界线lh1上所有特征点索引值集合中的索引值找到所述历史水田田垄图像的田垄边界线特征点集合φh1中对应索引值的特征点，在所述历史水田田垄图像的田垄边界线特征点集合φh1中删除找到的特征点，得到历史水田田垄图像的田垄边界线第二特征点集合φh2；

45、初始化所述第三阈值v，初始值可设为h/3，若所述历史水田田垄图像的田垄边界线第二特征点集合φh2的特征点数量不大于所述第三阈值v，则所述历史水田田垄图像检测得到的边界线即为所述历史水田田垄图像的第一边界线lh1，将所述历史水田田垄图像的第一边界线lh1在所述历史水田田垄图像上进行可视化，得到所述历史水田田垄图像的可视化边界线检测结果；

46、若所述历史水田田垄图像的田垄边界线第二特征点集合φh2的特征点数量大于所述第三阈值v，则将所述历史水田田垄图像的田垄边界线第二特征点集合φh2重复所述s4，得到历史水田田垄图像的第二边界线lh2，将所述历史水田田垄图像的第一边界线lh1和所述历史水田田垄图像的第二边界线lh2在所述历史水田田垄图像上进行可视化，得到所述历史水田田垄图像的可视化边界线检测结果；

47、s7，若所述历史水田田垄图像有两条边界线而检测到一条，减小所述第二阈值w的值，若所述历史水田田垄图像有一条边界线而检测到两条，增大所述第二阈值w的值，直至获取的所述历史水田田垄图像的可视化边界线检测结果与所述历史水田田垄图像一致；

48、s8，若所述历史水田田垄图像有两条边界线而检测到一条，减小所述第三阈值v的值，若所述历史水田田垄图像有一条边界线而检测到两条，增大所述第三阈值v的值，直至获取的所述历史水田田垄图像的可视化边界线检测结果与所述历史水田田垄图像一致。

49、基于同一个构思，本发明还提供一种电子设备，所述电子设备包括存储器、一个或多个处理器；所述存储器上存储有一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述方法的步骤。

50、有益效果

51、与现有技术相比，本发明的优点是：

52、1.本发明采用基于轻量级网络mobilenetv3的u-net模型建立语义分割网络及预训练模型，所述语义分割网络呈对称结构，以mobilenetv3作为编码器减少了参数量，降低了网络的复杂度，所述编码器引入跳层连接，加强了图像分割任务中的细节和语义信息的整合；所述语义分割网络对光照的鲁棒性高，能够适应光照变化对田垄颜色的影响，对水田田垄区域进行识别时，水田田垄分割的提取精度高；

53、2.本发明利用基于随机采样一致性模型的边界线检测方法提取水田田垄边界线，所述边界线检测算法能够自适应地确定边界线数量，并且对侧边界线和端边界线的拟合精度较高。