一种基于知识蒸馏的作物检测模型训练方法及相关设备与流程

本发明涉及农业信息，特别涉及一种基于知识蒸馏的作物检测模型训练方法及相关设备。

背景技术：

1、在农田管理层面，我们通常在农田边部署一些检测器来对农田中的作物进行识别和检测。为了减少成本并方便部署，作物检测器在保持高精度的同时轻量化是目前的发展趋势。

2、然而，现有的检测系统由于无法在降低监测模型规模的同时保证模型的拟合和泛化能力，往往需要使用多个检测器或者一个大检测器，由于农田环境多样复杂且作物种类繁多，多数时候无法满足大型模型所需要的大型检测器设备的部署需求，而使用小检测器存在精度不足的情况，总之无法兼顾成本以及精度两方面。

技术实现思路

1、本发明提供一种基于知识蒸馏的作物检测模型训练方法及相关设备，利用深度学习原理，将教师模型学到的知识迁移到另一个轻量级的学生模型上，保证学生模型拟合能力的同时降低模型规模，方便学生模型的部署。

2、本发明的目的采用以下技术方案实现：

3、第一方面，本发明提供一种基于知识蒸馏的作物检测模型训练方法，包括：

4、获取作物种植的图像训练数据集；

5、将所述图像训练数据集输入教师模型进行特征提取，得到细粒度模拟掩膜向量和第一特征向量；

6、将所述图像训练数据集输入学生模型进行特征提取，得到第二特征向量；

7、基于所述细粒度模拟掩膜向量、所述第一特征向量和所述第二特征向量，得到细粒度特征模仿损失函数；

8、基于所述图像训练数据集的特征标签和所述第二特征向量，得到作物识别损失函数；

9、基于所述细粒度特征模仿损失函数和所述作物识别损失函数，对所述学生模型进行训练直至收敛，获得已训练好的学生模型，所述已训练好的学生模型用于基于待检测的种植图像对目标作物进行识别和预测。

10、根据本发明提供的一种基于知识蒸馏的作物检测模型训练方法，将所述图像训练数据集输入教师模型进行特征提取，得到细粒度模拟掩膜向量的步骤，包括：

11、对所述图像训练数据集中的训练图像进行特征提取，得到第一特征图；

12、对于存在若干个相邻的锚点区域，将所述第一特征图进行特征合并第二特征图；

13、对于训练图像中标注的每个真实边界框，对所述第二特征图进行求最大值运算得到预测图，并基于所述预测图得到第一掩膜向量；

14、将所有的真实边界框进行相同操作得到的所述第一掩模向量进行合并，得到所述细粒度模拟掩膜向量。

15、根据本发明提供的一种基于知识蒸馏的作物检测模型训练方法，对于训练图像中标注的每个真实边界框，对所述第二特征图进行求最大值运算得到预测图，并基于所述预测图得到第一掩膜向量的步骤，包括：

16、获取若干个所述锚点区域与标注的每个真实边界框的交并比函数的最大值，得到预测图；

17、对于所述预测图，根据预设的阈值得到过滤阈值；

18、根据过滤阈值，保留所述预测图中大于所述过滤阈值的特征区域，并且使用并操作合并所述特征区域，得到第一掩膜向量。

19、根据本发明提供的一种基于知识蒸馏的作物检测模型训练方法，基于所述细粒度模拟掩膜向量、所述第一特征向量和所述第二特征向量，得到细粒度特征模仿损失函数的步骤，包括：

20、对于所述预测图上单个锚点区域，计算所述第一特征向量与所述第二特征向量之间的距离度量，得到学习所述教师模型知识的目标函数；

21、根据所述目标损失函数和所述细粒度模拟掩膜向量，得到对所述学生模型进行知识蒸馏训练的细粒度特征模仿损失函数。

22、根据本发明提供的一种基于知识蒸馏的作物检测模型训练方法，所述学生模型包括全卷积适应层，所述方法还包括：

23、利用包括所述全卷积适应层的学生模型，对所述图像训练数据集的训练图像进行特征提取，以得到所述第二特征向量。

24、根据本发明提供的一种基于知识蒸馏的作物检测模型训练方法，基于所述图像训练数据集的特征标签和所述第二特征向量，得到作物识别损失函数的步骤，包括：

25、获取所述图像训练数据集中的训练图像的特征标签，所述特征标签包括；作物真实边界框；

26、根据所述第二特征向量，经由所述学生模型，输出作物识别训练结果，所述作物识别训练结果包括预测的作物边界框；

27、根据所述作物识别训练结果和所述特征标签，得到所述作物识别损失函数。

28、根据本发明提供的一种基于知识蒸馏的作物检测模型训练方法，所述方法还包括：

29、将训练后的学生模型作为作物检测模型安装在检测设备中，以对农田中的目标作物进行识别和检测；

30、根据所述目标作物的识别和检测结果获取所述目标作物的生长情况，以确定下一阶段的培育策略。

31、第二方面，本发明提供一种电子设备，所述电子设备包括：

32、一个或多个处理器；以及存储有计算机程序指令的存储器，所述计算机程序指令在被执行时使所述处理器执行如上述任一种所述的基于知识蒸馏的作物检测模型训练方法的步骤。

33、第三方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序/指令，所述计算机程序/指令被处理器执行时实现如上述任一种所述的基于知识蒸馏的作物检测模型训练方法的步骤。

34、第四方面，本发明提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现如上述任一种所述的基于知识蒸馏的作物检测模型训练方法的步骤。

35、本发明提供的一种基于知识蒸馏的作物检测模型训练方法及相关设备，通过获取作物种植的图像训练数据集；将图像训练数据集输入教师模型进行特征提取，得到细粒度模拟掩膜向量和第一特征向量；将图像训练数据集输入学生模型进行特征提取，得到第二特征向量；基于细粒度模拟掩膜向量、第一特征向量和第二特征向量，得到细粒度特征模仿损失函数；基于图像训练数据集的特征标签和第二特征向量，得到作物识别损失函数；基于细粒度特征模仿损失函数和作物识别损失函数，对学生模型进行训练直至收敛，获得已训练好的学生模型，已训练好的学生模型用于基于待检测的种植图像对目标作物进行识别和预测。本发明利用深度学习原理，将教师模型学到的知识迁移到另一个轻量级的学生模型上，即使用模型蒸馏方法对一个小模型学习原有大检测器中的大模型的知识，保证小模型拟合能力的同时降低模型规模，方便学生模型的轻量化部署。

技术特征：

1.一种基于知识蒸馏的作物检测模型训练方法，其特征在于，包括：

2.根据权利要求1所述的基于知识蒸馏的作物检测模型训练方法，其特征在于，将所述图像训练数据集输入教师模型进行特征提取，得到细粒度模拟掩膜向量的步骤，包括：

3.根据权利要求2所述的基于知识蒸馏的作物检测模型训练方法，其特征在于，对于训练图像中标注的每个真实边界框，对所述第二特征图进行求最大值运算得到预测图，并基于所述预测图得到第一掩膜向量的步骤，包括：

4.根据权利要求2所述的基于知识蒸馏的作物检测模型训练方法，其特征在于，基于所述细粒度模拟掩膜向量、所述第一特征向量和所述第二特征向量，得到细粒度特征模仿损失函数的步骤，包括：

5.根据权利要求1或4所述的基于知识蒸馏的作物检测模型训练方法，其特征在于，所述学生模型包括全卷积适应层，所述方法还包括：

6.根据权利要求1所述的基于知识蒸馏的作物检测模型训练方法，其特征在于，基于所述图像训练数据集的特征标签和所述第二特征向量，得到作物识别损失函数的步骤，包括：

7.根据权利要求1所述的基于知识蒸馏的作物检测模型训练方法，其特征在于，所述方法还包括：

8.一种电子设备，其特征在于，所述电子设备包括：

9.一种计算机可读存储介质，其上存储有计算机程序/指令，其特征在于，所述计算机程序/指令被处理器执行时实现如权利要求1-7任一项所述的基于知识蒸馏的作物检测模型训练方法的步骤。

10.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现如权利要求1-7任一项所述的基于知识蒸馏的作物检测模型训练方法的步骤。

技术总结本发明提供一种基于知识蒸馏的作物检测模型训练方法及相关设备，方法包括：获取作物种植的图像训练数据集；将图像训练数据集输入教师模型进行特征提取，得到细粒度模拟掩膜向量和第一特征向量；将图像训练数据集输入学生模型进行特征提取，得到第二特征向量；基于细粒度模拟掩膜向量、第一特征向量和第二特征向量，得到细粒度特征模仿损失函数；基于图像训练数据集的特征标签和第二特征向量，得到作物识别损失函数；基于细粒度特征模仿损失函数和作物识别损失函数，对学生模型进行训练直至收敛，获得已训练好的学生模型。本发明将教师模型学到的知识迁移到另一个轻量级的学生模型上，保证小模型拟合能力的同时降低模型规模，方便模型轻量化部署。技术研发人员：姜祏,张哲,田朝杰受保护的技术使用者：左岸芯慧（上海）数据技术股份有限公司技术研发日：技术公布日：2024/7/29