一种基于图像处理和深度学习的花粉定量方法及系统

本发明涉及一种花粉定量方法及系统，尤其是一种基于图像处理和深度学习的花粉定量方法及系统。

背景技术：

1、花粉定量是监测已知植物花粉源在空气中释放的花粉量，或研究植物—昆虫相互作用并揭示昆虫对花粉传播和授粉的影响的重要研究任务，准确量化植物产生的花粉将为更好的理解植物授粉和生殖生物学提供有用的信息。目前用于花粉计数的方法多种多样，但仍需改进，以建立更准确、一致和高通量的定量替代方法。

2、传统的显微镜下人工花粉定量对于较少数量的花粉能够得到准确的结果，但对于较多数量的花粉，由于视觉疲劳或杂质干扰，容易产生各种误差(计数误差、记录误差)，从而大大降低计数精度。血细胞仪也可以用于花粉计数，然而，花粉结块以及花粉在细胞网格中不均匀沉降的问题易导致花粉计数结果偏少。

3、近年来，人工智能和深度卷积神经网络(dcnns)发展迅猛，在国内外引起广泛关注。作为其核心问题之一的目标检测，旨在找出图像中特定目标的类别和位置，现已广泛应用于各个领域，如自动驾驶、遥感图像、视频监控以及医疗检测等。目前已有利用dcnns进行花粉分类的应用，但如何利用dcnns进行花粉定量的方案仍有待研究。

技术实现思路

1、发明目的：本发明的目的是提供一种快速、准确进行花粉定量的方法及系统，针对花粉数量多少、背景复杂与否等情况选择合适的花粉定量的方法及系统。

2、技术方案：本发明所述的基于图像处理和深度学习的花粉定量方法，包括如下步骤：

3、获取待定量的花粉样品图像；

4、若所述花粉样品图像中花粉没有重叠、花粉大小均一时，采用基于opencv的图像处理的方法对所述花粉样品图像进行花粉定量；否则采用基于yolo的花粉定量模型进行花粉定量。

5、进一步地，所述基于opencv的图像处理的方法包括：根据所述花粉样品图像中花粉形状创建花粉模板，在所述花粉样品图像中进行模板匹配，得到花粉数量。

6、进一步地，所述采用基于opencv的图像处理的方法对所述花粉样品图像进行花粉定量包括如下步骤：

7、(3.1)将所述花粉样品图像转换为灰度图后再转换为numpy数组，创建花粉模板及其网格；

8、(3.2)对所述花粉样品图像进行二值化处理，查找花粉样品图像中的轮廓，对每个轮廓进行多边形逼近；

9、(3.3)对所述花粉样品图像进行高斯滤波，二值化高斯平滑后的花粉样品图像；

10、(3.4)使用模板匹配计算归一化互相关系数；

11、(3.5)将所述归一化互相关系数的数据移动到gpu中，对所述归一化互相关系数进行最大池化操作寻找局部峰值；

12、(3.6)将所述局部峰值数据移动到cpu中，对峰值数据进行筛选，排除相邻峰值接近的情况；

13、(3.7)筛选后的峰值点数量为所述花粉样品图像中的花粉数量。

14、进一步地，所述基于yolo的花粉定量模型包括：将yolo模型的主干网络中的cbl和c3结构替换为swin-transformer模块，形成所述基于yolo的花粉定量模型。

15、进一步地，所述采用基于yolo的花粉定量模型进行花粉定量包括如下步骤：

16、(5.1)获取花粉图像，在花粉图像中对每个花粉进行框选和标注，建立花粉定量数据集；

17、(5.2)对所述花粉定量数据集中的花粉图像进行数据预处理；

18、(5.3)使用预处理后的花粉定量数据集，对所述基于yolo的花粉定量模型进行训练；

19、(5.4)使用训练完成的所述基于yolo的花粉定量模型，对所述花粉样品图像进行花粉定量，得到花粉的数量。

20、进一步地，所述获取待定量的花粉样品图像包括：

21、获取已开花的花朵，将包被花药的花瓣依次打开以获取花粉颗粒；

22、将获取的花粉颗粒散落于载玻片中央，然后将其均匀地分散于蒸馏水中，得到花粉样品；

23、获取所述花粉样品在显微镜下的图像，得到所述待定量的花粉样品图像。

24、本发明所述的基于图像处理和深度学习的花粉定量系统，包括：

25、待测图像获取单元，用于获取待定量的花粉样品图像；

26、花粉定量单元，用于对待定量的花粉样品图像进行花粉定量，得到花粉的数量；若所述花粉样品图像中花粉没有重叠、花粉大小均一时，采用基于opencv的图像处理的方法对所述花粉样品图像进行花粉定量；否则采用基于yolo的花粉定量模型进行花粉定量。

27、进一步地，所述花粉定量单元中，所述基于opencv的图像处理的方法包括：根据所述花粉样品图像中花粉形状创建花粉模板，在所述花粉样品图像中进行模板匹配，得到花粉数量；所述基于yolo的花粉定量模型包括：将yolo模型的主干网络中的cbl和c3结构替换为swin-transformer模块，形成所述基于yolo的花粉定量模型。

28、本发明所述的电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被加载至处理器时实现所述的基于图像处理和深度学习的花粉定量方法。

29、本发明所述的计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述的基于图像处理和深度学习的花粉定量方法。

30、有益效果：与现有技术相比，本发明的优点在于：(1)本发明利用图像处理和深度学习两种方式对不同环境目标中的花粉进行定量分析，实现精准花粉计数。当获取的花粉样品图像中的花粉没有重叠，且其大小较为均一时，通过使用较为简单的图像处理的方法对其进行定量分析；当图像背景较为复杂，花粉大小不一时，通过使用较为复杂的深度学习的方法进行定量；(2)本发明的基于图像处理的花粉定量方法可快速高效地对花粉定量工作进行部署和使用，极大的减少了建模时间和人工成本；(3)本发明的基于深度学习的花粉定量方法，在精准快速检测和量化花粉数量的同时，最大限度地减少了计数的误差。

技术特征：

1.一种基于图像处理和深度学习的花粉定量方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的基于图像处理和深度学习的花粉定量方法，其特征在于，所述基于opencv的图像处理的方法包括：

3.根据权利要求2所述的基于图像处理和深度学习的花粉定量方法，其特征在于，所述采用基于opencv的图像处理的方法对所述花粉样品图像进行花粉定量包括如下步骤：

4.根据权利要求1所述的基于图像处理和深度学习的花粉定量方法，其特征在于，所述基于yolo的花粉定量模型包括：

5.根据根据权利要求4所述的基于图像处理和深度学习的花粉定量方法，其特征在于，所述采用基于yolo的花粉定量模型进行花粉定量包括如下步骤：

6.根据权利要求1所述的基于图像处理和深度学习的花粉定量方法，其特征在于，所述获取待定量的花粉样品图像包括：

7.一种基于图像处理和深度学习的花粉定量系统，其特征在于，包括：

8.根据权利要求7所述的基于图像处理和深度学习的花粉定量系统，其特征在于，所述花粉定量单元中，所述基于opencv的图像处理的方法包括：根据所述花粉样品图像中花粉形状创建花粉模板，在所述花粉样品图像中进行模板匹配，得到花粉数量；所述基于yolo的花粉定量模型包括：将yolo模型的主干网络中的cbl和c3结构替换为swin-transformer模块，形成所述基于yolo的花粉定量模型。

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述计算机程序被加载至处理器时实现根据权利要求1-6任一项所述的基于图像处理和深度学习的花粉定量方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现根据权利要求1-6任一项所述的基于图像处理和深度学习的花粉定量方法。

技术总结本发明公开了一种基于图像处理和深度学习的花粉定量方法及系统，该方法对于获取待定量的花粉样品图像，若花粉样品图像中花粉无重叠且花粉大小均一时，采用基于OpenCV的图像处理的方法对样品图像进行花粉定量；否则采用基于YOLO的花粉定量模型进行花粉定量；其中基于YOLO的花粉定量模型是将YOLO模型的主干网络中的CBL和C3结构替换为Swin‑Transformer模块。本发明根据花粉数量、是否重叠等选择合适的定量方法，使用图像处理方法时能够快速高效地对花粉定量工作进行部署和使用，极大的减少了建模时间和人工成本；使用深度学习方法时，能够在精准快速检测和量化花粉数量的同时，最大限度地减少了计数的误差。技术研发人员：张传杰,刘腾,吴慧珍,于佳琳,陈敏受保护的技术使用者：扬州大学技术研发日：技术公布日：2024/7/29