基于深度学习和大数据技术的果蔬视频病虫害检测方法

本发明涉及目标检测和大数据处理及智慧农业领域，具体是一种基于深度学习算法(如yolov7等)和大数据技术(如spark等)对数据进行分析处理相结合的果蔬病虫害检测方法。

背景技术：

1、随着时代的发展，各国对防治各种农作物病虫害等问题越来越关注，吸引了越来越多的机构人员进行研究。目前，果蔬病虫害的检测和防护等工作大多通过人工来完成，这就需要人工反复观察果蔬的健康或异常等状况。由于果蔬的种植密度大、范围广、环境多样等原因，导致人工防护或检测等工作量非常大，且容易出现误检、漏检、误报等问题。随着目标检测和大数据等技术的发展，人们开始追求更加智能化的果蔬病虫害识别或检测方法，并将其应用到大规模的农业应用场景中。

技术实现思路

1、针对传统的果蔬病虫害检测、识别或防护等现有技术的缺陷，本发明基于深度学习和大数据技术提出了一种将实时检测与离线检测相结合且具有较高精度的果蔬视频病虫害检测方法。

2、为实现上述目的，本发明首先通过图像采集设备将拍摄的果蔬视频传入目视检测算法模型中进行深度学习训练，并实时显示视频检测画面；然后将得到的检测数据传入大数据平台进行实时和离线分析；实时分析若识别到有病虫害的果蔬叶子便发出警报；当离线分析时则会对所有拍摄视频中病虫害顺子归类计算，然后使用工具进行结果展示，供用户或决策者参考。

3、基于深度学习和大数据技术的果蔬视频病虫害检测方法，包括如下步骤：

4、(1)将采集的含有害虫及病害的果蔬叶子用标签标注工具进行标注划分分类，形成数据集，然后将该数据集按比例划分为训练集、测试集及验证集；

5、(2)通过基于深度学习技术(如yolov7等)对数据集进行模型训练，得到果蔬检测病虫害的权重模型；

6、(3)通过在农业种植现场中的图像采集设备将拍摄到的视频传入训练好的深度学习模型(如yolov7等)中，基于该模型实时对视频进行检测，并实时显示视频检测画面；

7、(4)将深度学习模型(如yolov7等)实时检测的数据通过python(或java等)与数据库建立的连接传入前置数据库的表格中进行前置存储，设置属性集，通过属性集确定果蔬发生病虫害的具体区域，进而对症下药；

8、(5)将前置数据库中的数据作为生产者导入消息队列中进行实时检测；或将前置数据库中的数据使用数据抽取工具抽取到分布式文件系统中，进行离线检测；

9、(6)根据步骤(5)实时检测时使用大数据流处理工具作为消费者来消费消息队列中的数据，使用算子(如groupbykey)对数据按照属性集进行分组，同时使用filter等算子对置信度(confidence)大于0.5的数据进行过滤；

10、(7)在数据库中建立一张与前置数据库对应的表格，将数据抽取工具抽取到分布式文件系统中的数据按照日期为分区条件加载到数据库的表格中；然后对数据按照分类(class)进行统计(count)聚合操作，最后将分析得到的数据加载到数据库的结果表中；

11、(8)根据步骤(5)-(6)实时检测至检测结果达到一定条件时发出警报，提醒工作人员需要对其进行防治；将步骤(5)、(7)离线检测得到的结果通过可视化工具进行可视化，供工作人员参考防治。

12、进一步的步骤(1)所述数据标注过程包括：

13、1)首先对图片进行筛选，将模糊的图片剔除；

14、2)其次对数据进行标注，按照bean_pod_borer，leaf_miner，rust，angular_spot，yellow_mosaic来分类；

15、3)标注完成之后，使用数据增强来使得类别均衡，包括：翻转，裁剪，平移，缩放，添加高斯噪声等。

16、步骤(4)所述属性集包括greenhouse_id(大棚id)、camera_id(摄像机id)、current_time(拍摄时间)、class(病虫害种类)、confidence(置信度)。

17、步骤(4)所述前置数据库的表格结构如下：

18、

19、

20、步骤(6)所述实时检测过程包括：

21、1)首先将数据库中的数据作为消息队列的生产者数据来源，将消息队列与数据库连接，当数据库中的数据有所变化的时候，可以实时的传入到消息队列中，设置消息队列的集群服务器地址、批次大小和主题；

22、2)将大数据流(如spark streaming等)作为消息队列的消费者。大数据流(如spark streaming等)作为伪实时计算引擎，其通过微批处理来达到伪实时效果，需要设置滑动窗口大小以及滑动时间间隔，读取到消息队列的数据之后，将其抽象为一种称为dstream数据结构，其底层是一组rdd序列；然后使用filter过滤器算子对置信度(confidence)大于0.5的数据进行过滤，最后使用groupbykey等算子以greenhous_id，camera_id，class进行分组；

23、3)最后当分析处理结果达到一定阈值的时候，会触发警报装置，提醒工作人员。

24、步骤(7)所述离线检测过程包括：

25、1)首先使用收据抽取工具将数据库中的数据抽取到hdfs中；

26、2)在数据仓库中创建一张与数据库对应的表，为了方便日后读取以及管理数据，以每天的日期作为分区字段来进行分区，采用t+1次工作日分析的方式，对数据库存储的前一天的数据进行分析；数据仓库本身的计算引擎为mapreduce(或其他大数据处理工具)，hql底层依旧是将sql转化为了mapreduce的map任务和reduce任务，计算速度很慢，但是很稳定，为了可以很快的得到处理结果，将数据仓库的计算引擎使用大数据计算工具(如spark等)替换，使用查询工具(如spark sql等)进行分析；然后将结果写入数据库中创建的一张结果表，最后使用可视化工具进行可视化展示。

27、通过本发明果蔬视频病虫害检测方法，可以进行大规模病虫害检测及防护的数据存储和计算，有效地积累和利用大数据资源，提高结果之间的相关性，结合人工智能和云技术等技术推动病虫害检测方法的工程应用。

技术特征：

1.基于深度学习和大数据技术的果蔬视频病虫害检测方法，其特征是：包括如下步骤：

2.根据权利要求1所述的果蔬视频病虫害检测方法，其特征是：步骤(1)所述数据标注过程包括：

3.根据权利要求1所述的果蔬视频病虫害检测方法，其特征是：步骤(4)所述属性集包括greenhouse_id(大棚id)，camera_id(摄像机id)，current_time(拍摄时间)，class(病虫害种类)，confidence(置信度)。

4.根据权利要求1所述的果蔬视频病虫害检测方法，其特征是：步骤(4)所述前置数据库的表格结构如下：

5.根据权利要求1所述的果蔬视频病虫害检测方法，其特征是：步骤(6)所述实时检测过程包括：

6.根据权利要求1所述的果蔬视频病虫害检测方法，其特征是：步骤(7)所述离线检测过程包括：

技术总结本发明公开了基于深度学习和大数据技术的果蔬视频病虫害检测方法，该方法包括摄像头模块，深度学习模型训练模块，视频检测展示模块，检测数据收集模块，实时检测模块及警报模块，离线检测模块及显示模块；所述摄像头模块利用大棚里架设的摄像头每隔24h拍摄的一组范围不同的果蔬生长视频；所述深度学习模型训练模块包括迭代单元和识别单元；所述视频检测展示模块由软件开发生成的界面，实时显示果蔬病虫害检测状况；所述实时检测模块对检测数据进行实时的处理分析，达到一定指标触发警报模块；所述离线检测模块对全天检测数据进行离线的处理分析，最后将结果在显示模块中展示。技术研发人员：谢武,李申庆,谢家聪,冯飞鸿,姚树硕,范勇受保护的技术使用者：桂林电子科技大学技术研发日：技术公布日：2024/9/2