复杂背景下基于敏感度的轻量级水稻病害识别方法及系统

本发明涉及计算机视觉，尤其涉及一种复杂背景下基于敏感度的轻量级水稻病害识别方法及系统。

背景技术：

1、水稻是我国乃至世界上最重要的粮食作物之一，它提供了全球近50％人口的食物来源。

2、水稻一般是连片、大面积种植，加上某些水稻病害如胡麻叶枯病、稻曲病等具有传染性，一旦水稻病害发生且没有及时处理将对农民的收入、国家的粮食安全造成巨大威胁。据病虫害测报处预测，2024年全国水稻病虫害将呈偏重发生态势，其中病害发生面积将达3.9亿亩次。在水稻病害发生的早期阶段，水稻叶片会出现病变，并显现出各种疾病症状。目前，在我国，水稻疾病的主要识别方法是人工诊断，即依靠农民的经验知识对疾病进行初步诊断。水稻疾病的人工诊断不仅效率低下，而且容易受到疲劳和情绪等主观因素的影响，并且只能在症状显现并具有明显特征时才能被检测到，这种人工诊断主观、劳动密集、效率低下且昂贵，无法进行大规模应用，为了保障水稻产量，及时准确地诊断水稻病害至关重要。

3、近年来，由于深度学习能够自动提取图像特征并实现分类，许多学者将深度学习引入到病害分类任务上，但是一方面由于不同种类病害症状因水稻处于不同发育时期、不同发病部位以及病害程度等因素存在相似性，病害的过度相似容易导致深度学习模型给出错误分类；另一方面真实稻田中采集的水稻病害图像数据存在叶片堆叠等复杂背景因素，图像中过多的无关信息可能会让深度学习模型给出错误分类；最后，目前大多数水稻叶片病害分类模型结构十分复杂，参数量和计算量庞大，对设备资源要求较高，导致很难迁移到一些资源受限的移动端或嵌入式设备上使用，从而限制了病害模型的实际落地与推广。

4、针对病害症状存在类间相似性的问题，现有方法主要从多模态数据、不同色域空间、深度学习与传统机器学习方法结合角度加强特征的提取与融合，但这些方法一般需要增加额外支路，导致模型参数和计算量增加，此外，构建和对齐多模态数据也是一个具有挑战性的任务；针对实际大田中采集的病害存在叶片堆叠等复杂背景问题，现有方法主要通过图像分割和注意力机制来引导模型专注于病害区域并进行分类，一方面病害图像分割模型使得病害分类问题更加复杂，另一方面通道注意力的添加和无差别空间注意力的添加也会引入额外需要训练的参数和计算开销。针对模型结构复杂问题，现有方法多使用轻量级神经网络和轻量级模块，轻量级神经网络和轻量级模块在设计和训练过程中可能涉及更高的难度和复杂性，同时，由于模型的规模和复杂度被前期设计降低，可能在一些复杂任务中牺牲模型的性能，并且这些设计的普适性并未得到充分验证。

5、综上所述，现有的水稻叶片病害识别方法在实际的田间病害检测中仍然面临病害相似、背景复杂、边缘算力不足的挑战。因此本专利提出一种基于卷积核敏感度的通道惩罚联动空间注意力的轻量级模型构建方法，重点突破在面向类间相似和复杂背景下小模型的构建问题，为水稻生产提质增效提供技术支撑。

技术实现思路

1、本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种复杂背景下基于敏感度的轻量级水稻病害识别方法及系统。

2、本发明解决其技术问题所采用的技术方案是：

3、本发明提供一种复杂背景下基于敏感度的轻量级水稻病害识别方法，该方法包括以下步骤：

4、步骤1、获取包含真实大田复杂背景图像的数据集，将数据集划分为训练集和测试集，对训练集通过图像增强技术进行预处理；

5、步骤2、构建面向类间相似和复杂背景的轻量级网络模型，轻量级网络模型选择vgg13网络，使用自适应全局平均池化替换全连接层，在每轮训练结束后对训练集按照指定规则进行划分，并将划分好的数据输入轻量级网络模型进行推理，根据卷积核对不同类别病害敏感度的评价算法计算本轮模型中敏感卷积核和非敏感卷积核；

6、步骤3、根据步骤2的评价算法的输出，一方面给所有非敏感卷积核后面输出的特征通道进行惩罚，反向让敏感度高的卷积核在模型训练过程中自动关注不同类别相似病害之间的差异特征；另一方面在某一层特征层后面仅对敏感卷积核输出特征添加空间注意力，让敏感度高的卷积核在关注相似类别病害差异的同时专注于病害区域；

7、步骤4、根据非敏感卷积核通道惩罚的结果进行结构化剪枝，同时基于结构化剪枝的策略构造中间教师模型，对过度结构化剪枝的轻量级网络模型进行辅助微调训练；

8、步骤5、通过测试集对步骤4微调后获得的轻量级网络模型进行测试，判断模型性能和模型大小是否均满足需求，若不满足，则重新执行步骤4；若满足，则输出面向类间相似和复杂背景的轻量级网络模型进行水稻病害识别。

9、进一步地，本发明的所述步骤1中的方法包括：

10、数据集包含不少于9种水稻病害以及健康水稻的图像，在水稻成长45到82天期间内拍摄，具有不同种类病害症状因水稻不同发育时期、不同发病部位以及病害程度的因素导致存在相似性以及背景复杂的特点；

11、对图像进行预处理的方法包括：旋转、缩放、平移、翻转，以及调整为统一尺寸。

12、进一步地，本发明的所述步骤2中在每轮训练结束后对训练集按照指定规则进行划分，并将划分好的数据输入轻量级网络模型进行推理的具体方法为：

13、在每个epoch训练结束后对每个卷积核的敏感度进行一次计算，对整个训练集按照规则进行划分batch，划分规则包括：

14、①每个batch都是同一类别水稻病害图像并且拥有相同的图片数量；

15、②第i个batch与第i+1个batch图像分别属于不同类别，即同一个epoch下相邻两个batch图像分别属于不同类别；

16、③第i个epoch的最后一个batch与第i+1个epoch的第一个batch属于不同类别，即不同epoch衔接时前后两个batch图像分别属于不同类别；

17、轻量级网络模型在第i个epoch训练结束后，按照规则划分好训练数据集，依次将训练数据按照batch0、batch1、batch2的顺序输入到模型中进行推理。

18、进一步地，本发明的所述步骤2中根据卷积核对不同类别病害敏感度的评价算法具体为：

19、将batchi的图像输入到模型中并记录每个卷积核对batchi图像的输出outputi，l，j；其中，i表示第i个batch的输入图像，l表示卷积层索引，j表示第l层中第j个卷积核，同理将batchi+1的病害图像输入到模型中并记录每个卷积核对batchi+1的输出outputi+1，l，j，然后使用平方欧式距离计算特征图outputi，l，j和outputi+1，l，j的相似度；

20、将计算得到的相似度除以每层特征图的宽和高得到最终相似度，公式如下：

21、similar(outputi，l，j，outputi+1，l，j)＝sum((outputi，l，j-outputi+1，l，j)2)/hl/wl

22、其中，hl、wl分别为第l层卷积核输出outputi，l，j的高和宽，由于outputi，l，j和outputi+1，l，j是同一个卷积核的输出因此具有相同的高和宽；

23、为了定义敏感卷积核和非敏感卷积核，提前设置一个非敏感卷积核的比例insensitive_ratio；根据卷积核前后两个batch输出特征图计算相似度，并将相似度按照从高到低排序；

24、每次两个batch输出特征图相似度比较后给出现在insensitive_ratio内的卷积核进行计数，待整个训练数据集相似度比较完后根据出现在insensitive_ratio比例内卷积核出现次数按照从高到低排名，排名在前insensitive_ratio的卷积核最终被定为本轮训练结束后模型中非敏感的卷积核。

25、进一步地，本发明的所述步骤3中给非敏感卷积核后面输出的特征通道进行惩罚的方法包括：

26、设置惩罚比例punish_ratio＝insensitive_ratio；一个batch图像经过conv层之后依次经过bn层和relu层；根据得到的非敏感卷积核，将bn层对应的[γi，γk，...，γn]最终确定为第i+1个epoch训练时惩罚的通道，根据多次相似度比较统计次数最终得到的结果，对每一个epoch训练时需要惩罚的[γi，γk，...，γn]进行重新计算；

27、根据确定的需要惩罚的γ索引[γi，γk，...，γn]以及bn层的计算公式，给非敏感的卷积核后面对应的bn中[γi，γk，...，γn]l加上一个l1正则化，其公式为：

28、l1_reg＝l1_reg+l1([γi，γk，...，γn]l)

29、其中，l1_reg表示对每层选中的[γi，γk，...，γn]l计算l1后进行累计，l表示层索引，并将累计的l1_reg添加到loss损失函数中，其公式为：

30、loss＝loss+l1stren*l1_reg

31、其中，l1stren是一个超参数，表示惩罚强度，根据加法求导公式以及链式求导法则得到选中的[γi，γk，...，γn]l在梯度更新时的公式为：

32、

33、其中，α表示学习率，sign(*)是一个符号函数，在给[γi，γk，...，γn]l添加了l1惩罚后得到非敏感卷积核对应的缩放因子[γi，γk，...，γn]l的值在梯度更新的时候会额外的减去l1_stren*[sign(γi)，sign(γk)，...，sign(γn)]l，让非敏感卷积核对应的[γi，γk，...，γn]l因受到额外惩罚而快速的趋于0，从而达到非敏感卷积核通道惩罚的目的。

34、进一步地，本发明的所述步骤3中对敏感卷积核输出特征添加空间注意力的方法包括：

35、根据卷积核对不同类别病害敏感度评价算法指导，在某个bn层后面对定义为敏感卷积核输出的特征图添加空间注意力；

36、基于卷积核敏感度的通道惩罚直接对bn中选定的[γi，γk，...，γn]l进行惩罚，使用惩罚后的[γi，γk，...，γn]l计算bn，其流程如下公式：

37、[x1，x2，...，xc]·([γw1，γw2＝1，...，γwc]·[γ1，γ2，...，γc])→yl

38、其中，xi表示该卷积层第i个卷积核输出的特征，c表示该特征层的通道数量，γi表示第i个特征图对应bn中第i个γ，γwi表示经过非敏感卷积核的通道惩罚之后原始的γi相比于正常训练更新会进行一个额外的缩放，其中γw2＝1表示该通道对应的是敏感卷积核，没有被额外惩罚。

39、进一步地，本发明的所述步骤4中进行结构化剪枝的方法包括：

40、在步骤3通道惩罚训练得到的模型中每个bn层中γ向量收集起来并按照绝对值从小到大排序，设置prune_ratio＝punish_ratio＝insensitive_ratio，从全局中挑选排名在前prune_ratio以内的[γi，γk，...，γn]通道，并将这些通道所对应的卷积核从模型中删除。

41、进一步地，本发明的所述步骤4中构造中间教师模型的方法包括：

42、对模型进行过度结构化剪枝之后，采用知识蒸馏辅助模型的微调；通过步骤4中结构化剪枝的策略搭建结构相似的中间教师模型；

43、在微调训练过程中，一方面图像数据经过结构化剪枝后的小模型得到分类层输出s(x)，另一方面图像数据经过中间教师模型得到分类层输出t(x)；在损失函数中，一方面计算小模型的输出与真实标签y的交叉熵，另一方面使用kl散度计算学生和教师输出差异，最后结构化剪枝后的病害模型微调时，训练损失函数为：

44、loss＝(1-α)·crossentropy(s(x)，y)+α·kldiv(t(x)，s(x))

45、其中，α是蒸馏损失的平衡参数，用于调节两部分损失项之间的权重，s(x)表示学生模型分类层输出，y表示原始分类图像中真实标签，crossentropy(.，.)表示交叉熵损失函数，kldiv(.，.)是计算两个分布的kl散度损失。

46、进一步地，本发明的所述步骤5中判断性能的方法包括：

47、采用精度、召回率、准确性、f1分数指标来评估模型在识别水稻叶病方面的有效性；对步骤4微调后获得的轻量级网络模型进行测试，随着epoch的增加模型的测试精度在上升，直到测试精度趋于稳定。

48、本发明提供一种复杂背景下基于敏感度的轻量级水稻病害识别系统，包括：

49、数据集预处理单元，用于获取包含真实大田复杂背景图像的数据集，将数据集划分为训练集和测试集，对训练集通过图像增强技术进行预处理；

50、卷积核对不同类别病害敏感度的评价算法单元，用于构建面向类间相似和复杂背景的轻量级网络模型，轻量级网络模型选择vgg13网络，使用自适应全局平均池化替换全连接层，在每轮训练结束后对训练集按照指定规则进行划分，并将划分好的数据输入轻量级网络模型进行推理，根据卷积核对不同类别病害敏感度的评价算法计算本轮模型中敏感卷积核和非敏感卷积核；

51、基于卷积核敏感度的通道惩罚联动空间注意力单元，用于根据评价算法的输出，一方面给所有非敏感卷积核后面输出的特征通道进行惩罚，反向让敏感度高的卷积核在模型训练过程中自动关注不同类别相似病害之间的差异特征；另一方面在某一层特征层后面仅对敏感卷积核输出特征添加空间注意力，让敏感度高的卷积核在关注相似类别病害差异的同时专注于病害区域；

52、基于卷积核敏感度的通道惩罚的结构化剪枝单元，用于根据非敏感卷积核通道惩罚的结果进行结构化剪枝，同时基于结构化剪枝的策略构造中间教师模型，对过度结构化剪枝的轻量级网络模型进行辅助微调训练；

53、模型测试及输出单元，用于通过测试集对微调后获得的轻量级网络模型进行测试，判断模型性能和模型大小是否均满足需求，若不满足，则进入基于卷积核敏感度的通道惩罚的结构化剪枝单元重新训练；若满足，则输出面向类间相似和复杂背景的轻量级网络模型进行水稻病害识别。

54、本发明产生的有益效果是：

55、1.本发明提出了卷积核对不同类别病害敏感度的评价算法，并基于该算法对敏感度弱的卷积核进行通道惩罚，反向让敏感度高的卷积核在模型训练过程中自动关注不同类别相似病害之间的差异特征，通过对比经典senet作用流程推导出基于卷积核敏感度的通道惩罚蕴含通道注意力的思想且没有引入额外需要训练的参数。

56、2.本发明提出了基于卷积核敏感度的通道惩罚联动空间注意力，仅仅在某个特征层对敏感度高卷积核输出特征添加空间注意力，相比于对特征层中所有特征无差别的添加空间注意力减少了模型训练过程中计算量，让敏感度高的卷积核在关注相似类别差异的同时专注于病害区域，降低复杂背景的影响，提高模型识别精度。

57、3.本发明提出了基于卷积核敏感度的通道惩罚的结构化剪枝策略，被惩罚的通道是在每个epoch训练之后根据病害敏感度的评价算法重新评判的，因此该策略可以让上一个epoch因错误惩罚或有潜力的卷积核在下一轮训练时重新恢复正常训练，同时结构化剪枝可以真正减少卷积核的数量达到减少参数量、计算量，从而降低模型的复杂度。

58、4.本发明提出了搭建中间教师模型借助知识蒸馏辅助模型微调训练，一方面使用上述结构化剪枝策略构造中间教师模型可以避免教师-学生差距过大导致辅助微调效果不好，另一方面可以进一步增大结构化剪枝的比例，利用知识蒸馏的辅助微调技术可以让剪枝后的小模型恢复原始精度，保障小模型的性能。

59、5.本发明在paddy doctor dataset公开数据集上进行实验，证明所提方法的有效性。该数据集包含9种水稻病害以及健康水稻图片，在水稻成长45到82天期间内拍摄，具有不同种类病害症状因水稻不同发育时期、不同发病部位以及病害程度等因素导致存在相似性以及背景复杂的特点。实验结果显示，使用本发明方法最终构建的模型参数量为0.379m，平均识别精度为98.8445，平均召回率为98.8445，平均准确率为98.8486，f1值为98.8440，高于同时期的大多数深度学习模型，且混淆矩阵表明模型在每个类别上都有显著的性能。