一种农作物叶片病害程度诊断方法及系统

本发明涉及深度学习和农业信息，具体的是一种农作物叶片病害程度诊断方法及系统。

背景技术：

1、农作物在生长过程中容易受到一系列病害的影响。农作物的叶片病害严重影响农作物产量，如果不及时处理，就会减产甚至绝收，对农业经济造成重大损失。因此，对农作物病害程度的准确诊断是农作物病害预防和控制的关键，对保证农作物的品质和产量具有重要意义。传统的农作物病害程度诊断方法主要依赖于人工观察和农业专家的经验。这些方法包括：田间观察、实验室检测、经验判断、化学防治等。虽然传统方法在一定程度上有效，但存在明显局限性，包括易受主观判断影响、效率较低、难以实现大面积快速诊断等。

2、近年来，基于图像处理和深度学习的自动化诊断方法得到了越来越广泛的运用。目前主要有两种方法：基于目标的区域检测和基于语义的分割。目标检测集中在病害的区域定位，而语义分割是对图像中像素进行二值分类，以区分真实和非真实目标区域的边缘。从标注的时间来看，目标检测所用的时间较少，但难以准确描述目标病害的实际面积。随着智慧农业的发展，需要更精细的病害防治措施。虽然分割标签比较耗时，但准确的分割结果可以在空间上量化病害的具体区域。然而，传统分割网络无法解决农作物叶片病害形状不规则且具有多变性，在模型编码的过程中，缺乏局部信息交互，对图像边缘与几何形状等特征提取能力较弱，导致模型在分割叶片与病斑时，分割精度较低。而且无法量化评估病害的严重程度。

技术实现思路

1、为解决上述背景技术中提到的不足，本发明的目的在于提供一种农作物叶片病害程度诊断方法及系统，通过构建了多尺度双注意力机制u-net实现农作物叶片病害识别与程度诊断。

2、第一方面，本发明的目的可以通过以下技术方案实现：一种农作物叶片病害程度诊断方法，方法包括以下步骤：

3、获取农作物叶片图像数据集，对农作物叶片图像数据集进行标注和预处理，得到处理后的农作物叶片图像数据集；

4、将农作物叶片图像数据集输入至预先建立的多尺度双注意力机制u-net模型内进行训练，得到训练后的多尺度双注意力机制u-net模型；

5、获取待识别的农作物叶片图像，将待识别的农作物叶片图像输入至训练后的多尺度双注意力机制u-net模型内，输出得到农作物叶片图像的分类概率，根据农作物叶片图像的分类概率大小识别得出农作物叶片病害类别；

6、对已识别出病害类别的农作物叶片图像，根据图像中叶片病斑总面积占叶片总面积的百分比来进行病害程度诊断计算，得出病害程度等级。

7、结合第一方面，在第一方面的某些实现方式中，该方法还包括：所述农作物叶片图像数据集从plantvillage，plant doc和dataset oftomato leaves三个公开植物病害数据集中筛选得出，其中，所述农作物叶片图像数据集包括有各种病害的图像和没病害的图像。

8、结合第一方面，在第一方面的某些实现方式中，该方法还包括：所述对农作物叶片图像数据集进行标注和预处理的过程：

9、标注过程：使用labelme或其它标注软件对农作物叶片图像数据集内的叶片图像进行像素级标注，在标注过程中，图像中背景、叶片和病斑像素分别被标记为0、1和2；

10、预处理过程：通过图像平移、旋转、翻转、亮度或对比度的调节和添加噪声这五种技术对农作物叶片图像数据集内的叶片图像进行增强。

11、结合第一方面，在第一方面的某些实现方式中，该方法还包括：所述预先建立的多尺度双注意力机制u-net模型包括编码器和解码器；

12、其中，在编码器中，每个阶段都包含两个3x3的卷积层，后面跟着relu激活函数和2x2的最大池化操作，用于下采样，并且在每次下采样过程中将特征通道数翻倍，在解码器中，每个阶段包括上采样、2x2的卷积，将特征通道数减半，与编码器中相应裁剪的特征图进行连接，然后是两个3x3的卷积，每个卷积后面都有relu激活函数。

13、结合第一方面，在第一方面的某些实现方式中，该方法还包括：所述编码器进行多层卷积和下采样操作，采用跳跃连接的策略，将一部分特征图直接传递到更高层级，另一部分则通过跳跃连接直接传入解码器部分，作为上采样操作的部分输入，在输出阶段，将不同尺度的特征图像进行融合，形成最终的结果，多尺度特征融合的输出如下式所示：

14、z(x)＝conv([z0,z1,z2,z3,z4])

15、式中，conv()表示卷积操作，z(x)为特征融合后的输出，z0、z1、z2、z3、z4分别为不同尺度上采样的输出特征图。

16、结合第一方面，在第一方面的某些实现方式中，该方法还包括：所述解码器的解码阶段的每层上采样运算后执行位置注意力模块，在每层的跳跃连接之前执行通道注意力模块；

17、位置注意力模块结构：位置特征图p∈r^(h×w×c)通过整形得到pb∈r^((h×w)×c)和pc∈r^(c×(h×w))，pb和pc通过矩阵乘法得到ps∈r^((h×w)×(h×w))，pf∈r^(h×w×c)通过ps和pb的矩阵乘法和整形得到，最后将pf和p进行矩阵加法和批量标准化运算，得到特征图pe∈r^(h×w×c)；

18、通道注意力模块结构：通道特征图c∈r^(h×w×c)通过整形得到cb∈r^((h×w)×c)和cc∈r^(c×(h×w))，cb和cc通过矩阵乘法得到cs∈r^(c×c)，cf∈r^(h×w×c)通过cs和cb的矩阵乘法和整形得到，最后将cf和c进行矩阵加法和批量标准化运算，得到最终的特征图ce∈r^(h×w×c)；

19、将特征图pe与ce进行拼接，作为解码阶段下一层的输入特征；

20、瓶颈层包含两个卷积层，每个卷积层有多个卷积核，每个卷积层都是扩展输入图像维数的卷积层，在每个卷积层之后都添加了一个bn层，在第二个bn层之后、上采样之前加入dropout层对输出图像进行正则化。

21、结合第一方面，在第一方面的某些实现方式中，该方法还包括：所述根据叶片病斑总面积占叶片总面积的百分比来进行病害程度诊断计算的计算公式如下：

22、

23、其中，m为病斑总面积占叶片总面积的百分比，nlesion表示为图中病斑像素点数量，nleaf表示为图中农作物叶片像素点数量。

24、第二方面，为了达到上述目的，本发明公开了一种农作物叶片病害程度诊断系统，包括：

25、图像处理模块，用于获取农作物叶片图像数据集，对农作物叶片图像数据集进行标注和预处理，得到处理后的农作物叶片图像数据集；

26、模型训练模块，用于将农作物叶片图像数据集输入至预先建立的多尺度双注意力机制u-net模型内进行训练，得到训练后的多尺度双注意力机制u-net模型；

27、病害识别模块，用于获取待识别的农作物叶片图像，将待识别的农作物叶片图像输入至训练后的多尺度双注意力机制u-net模型内，输出得到农作物叶片图像的分类概率，根据农作物叶片图像的分类概率大小识别得出农作物叶片病害类别；

28、病害诊断模块，用于根据农作物叶片图像类别所得的有害叶片，根据叶片病斑总面积占叶片总面积的百分比来进行病害程度诊断计算，得出病害程度等级。

29、结合第二方面，在第二方面的某些实现方式中，该系统还包括：所述图像处理模块的农作物叶片图像数据集从plantvillage，plant doc和dataset oftomato leaves三个公开植物病害数据集中筛选得出，其中，所述农作物叶片图像数据集包括有各种病害的图像和没病害的图像；

30、图像处理模块的对农作物叶片图像数据集进行标注和预处理的过程：

31、标注过程：使用labelme或其它标注软件对农作物叶片图像数据集内的叶片图像进行像素级标注，在标注过程中，图像中的背景、叶片和病斑像素分别被标记为0、1和2；

32、预处理过程：通过图像平移、旋转、翻转、亮度或对比度的调节和添加噪声这五种技术对农作物叶片图像数据集内的叶片图像进行增强；

33、模型训练模块的预先建立的多尺度双注意力机制u-net模型包括编码器和解码器；

34、其中，在编码器中，每个阶段都包含两个3x3的卷积层，后面跟着relu激活函数和2x2的最大池化操作，用于下采样，并且在每次下采样过程中将特征通道数翻倍，在解码器中，每个阶段包括上采样、2x2的卷积，将特征通道数减半，与编码器中相应裁剪的特征图进行连接，然后是两个3x3的卷积，每个卷积后面都有relu激活函数；

35、模型训练模块的编码器进行多层卷积和下采样操作，采用跳跃连接的策略，将一部分特征图直接传递到更高层级，另一部分则通过跳跃连接直接传入解码器部分，作为上采样操作的部分输入，在输出阶段，将不同尺度的特征图像进行融合，形成最终的结果，多尺度特征融合的输出如下式所示：

36、z(x)＝conv([z0,z1,z2,z3,z4])

37、式中，conv()表示卷积操作，z(x)为特征融合后的输出，z0、z1、z2、z3、z4分别为不同尺度上采样的输出特征图；

38、模型训练模块的解码器的解码阶段的每层上采样运算后执行位置注意力模块，在每层的跳跃连接之前执行通道注意力模块；

39、位置注意力模块结构：位置特征图p∈r^(h×w×c)通过整形得到pb∈r^((h×w)×c)和pc∈r^(c×(h×w))，pb和pc通过矩阵乘法得到ps∈r^((h×w)×(h×w))，pf∈r^(h×w×c)通过ps和pb的矩阵乘法和整形得到，最后将pf和p进行矩阵加法和批量标准化运算，得到特征图pe∈r^(h×w×c)；

40、通道注意力模块结构：通道特征图c∈r^(h×w×c)通过整形得到cb∈r^((h×w)×c)和cc∈r^(c×(h×w))，cb和cc通过矩阵乘法得到cs∈r^(c×c)，cf∈r^(h×w×c)通过cs和cb的矩阵乘法和整形得到，最后将cf和c进行矩阵加法和批量标准化运算，得到最终的特征图ce∈r^(h×w×c)；

41、将特征图pe与ce进行拼接，作为解码阶段下一层的输入特征；

42、瓶颈层包含两个卷积层，每个卷积层有多个卷积核，每个卷积层都是扩展输入图像维数的卷积层，在每个卷积层之后都添加了一个bn层，在第二个bn层之后、上采样之前加入dropout层对输出图像进行正则化；

43、病害诊断模块根据叶片病斑总面积占叶片总面积的百分比来进行病害程度诊断计算的计算公式如下：

44、

45、其中，m为病斑总面积占叶片总面积的百分比，nlesion表示为图中病斑像素点数量，nleaf表示为图中农作物叶片像素点数量。

46、在本发明的另一方面，为了达到上述目的，公开了一种终端设备，包括存储器、处理器及存储在存储器中并能够在处理器上运行的计算机程序，所述存储器中存储有能够在处理器上运行的计算机程序，所述处理器加载并执行计算机程序时，采用了如上所述的一种农作物叶片病害程度诊断方法。

47、本发明的有益效果：

48、本发明通过引入通道注意力(channelattention,ca)与位置注意力(positionattention，pa)双注意力机制操作，并对网络的瓶颈层增加批量规范化(batchnormalization,bn)和抛弃(dropout)层，构建了多尺度双注意力机制u-net实现农作物叶片病害识别与程度诊断，可以有效识别出各类病害，提高了处理的效率和病害类型识别的准确率，而且可以实现病害程度诊断，病害程度诊断的准确率高。