一种基于多源信息图像融合的红壤花生病虫害识别诊断装置及方法

本发明涉及植物病害检测领域，特别是涉及一种基于多源信息图像融合的红壤花生病虫害识别诊断装置及方法。

背景技术：

1、长期单一种植花生导致红壤旱地花生连作重茬较为普遍，有的连续种植十多年，产量因青枯病、茎腐病等病害而不稳；花生生长季雨量较为充沛，但前涝后旱现象较为突出，致使种植花生效益不是很高。病虫危害后花生的抗性明显减弱，严重影响产量。因此，除了选用抗病品种和种子消毒外，发生病虫害要采取有效措施进行防治。花生主要病害有叶斑病、锈病、青枯病、茎腐病、病毒病等；主要虫害主要有蚜虫、螨虫及斜纹夜蛾，地下虫害主要有蛴螬、金针虫和小地老虎。

2、现有病虫害识别技术中存在着图像获取单一，不能准确的找到病虫害位置，而出现耽误最佳病虫害治理时间的问题。因此，本发明提出一种基于多源信息图像融合的红壤花生病虫害识别诊断装置及方法。

技术实现思路

1、本发明的目的是提供一种基于多源信息图像融合的红壤花生病虫害识别诊断装置及方法，以解决上述现有技术存在的问题，通过多源相机获取拍摄的图像，增加图像获取的可信度，进一步使图像识别内容更加准确。

2、为实现上述目的，本发明提供了如下方案：

3、一种基于多源信息图像融合的红壤花生病虫害识别诊断装置，包括：

4、多源相机，用于获取多源信息图像；

5、生成单元，用于基于所述多源信息图像的显著性，生成融合图像；

6、识别单元，用于基于预设的病害识别模型对所述融合图像进行识别，并输出结果文件，其中，所述病害识别模型通过对病害识别初始模型进行训练得到，所述病害识别初始模型基于深度卷积神经网络构建。

7、可选地，所述多源相机包括多光谱相机、红外相机、高光谱相机和可见光相机。

8、可选地，所述装置还包括：用于显示所述多源信息图像的显示器。

9、可选地，所述装置还包括：用于存储所述结果文件的存储器。

10、为进一步实现上述目的，本发明还提供一种基于多源信息图像融合的红壤花生病虫害识别诊断方法，通过上述基于多源信息图像融合的红壤花生病虫害识别诊断装置实现，具体步骤包括：

11、获取多源信息图像；

12、基于所述多源信息图像的显著性，生成融合图像；

13、基于预设的病害识别模型对所述融合图像进行识别，并输出结果文件，其中，所述病害识别模型通过对病害识别初始模型进行训练得到，所述病害识别初始模型基于深度卷积神经网络构建。

14、可选地，基于所述多源信息图像的显著性，生成融合图像包括：

15、分别对所述多源信息图像进行滤波，得到多源基础层图像；

16、分别对所述多源基础层图像进行显著性检测，生成多源显著图；

17、对所述多源显著图进行归一化为多源权重因子，并基于所述多源权重因子生成融合图像。

18、可选地，所述多源基础层图像包括多光谱基础层图像、红外基础层图像、高光谱基础层图像和可见光基础层图像，分别对所述多源基础层图像进行显著性检测，生成多源显著图的方法为：

19、计算显著性检测输入图像中指定像素的显著性值，指定像素的显著性值定义式：

20、

21、式中，表示指定像素的显著性值，ik表示指定像素，ik∈[0,255]，i表示输入图像，io表示输入图像中的任意像素，io∈[0,255]，||·||表示颜色值之间的距离；其中，指定像素的显著性值定义式可以转化为：

22、

23、式中：n为输入图像中的像素总数，i1～in表示第一至第n像素的颜色值；其中，给定输入图像，则任意像素io的取值都是已知的；

24、计算指定像素的稀有度颜色统计，指定像素的稀有度颜色统计定义式：

25、

26、其中，表示指定像素的稀有度颜色统计，指定像素ik的稀有度，σ表示极小值；

27、计算输入图像的梯度能量，输入图像的梯度能量定义式：

28、

29、式中：ge(x,y)表示输入图像的梯度能量，ω为像素(x,y)的邻域，ih、iv、ib分别表示指定像素周围任一像素的梯度特征；

30、计算输入图像的稀有度颜色统计联合梯度能量优化的复合显著性检测结果，复合显著性定义式：

31、

32、式中：u表示输入图像的复合显著性；

33、对于多光谱基础层图像，多光谱基础层图像的复合显著性定义式：

34、

35、式中：umi表示多光谱基础层图像的复合显著性，即多光谱显著图像，表示多光谱基础层图像的稀有度颜色统计，gemi表示多光谱图像的梯度能量；

36、对于红外基础层图像，红外基础层图像的复合显著性定义式：

37、

38、式中：uir表示红外基础层图像的复合显著性，即红外显著图像，表示红外基础层图像的稀有度颜色统计，geir表示红外图像的梯度能量；

39、对于高光谱基础层图像，高光谱基础层图像的复合显著性定义式：

40、

41、式中：uhi表示高光谱基础层图像的复合显著性，即高光谱基础层图像，表示高光谱基础层图像的稀有度颜色统计，gehi表示高光谱图像的梯度能量；

42、对于可见光基础层图像，可见光基础层图像的复合显著性定义式：

43、

44、式中：uvis表示可见光基础层图像的复合显著性，即可见光显著图像，t(ivis)表示可见光基础层图像的稀有度颜色统计，gevis表示可见光基础层图像的梯度能量。

45、可选地，对所述多源显著图进行归一化为多源权重因子，并基于所述多源权重因子生成融合图像的方法为：

46、将多光谱基础层图像的复合显著性umi归一化为多光谱权重因子omi,红外基础层图像的复合显著性uir归一化为红外权重因子oir,,高光谱基础层图像的复合显著性uhi归一化为高光谱权重因子ohi,,可见光基础层图像的复合显著性uvis归一化为可见光权重因子ovis；

47、根据多源权重因子融合多源基础层图像生成融合图像，方法为：

48、

49、式中：fub表示融合图像，omi表示多光谱权重因子，λmi表示预设的多光谱基础权重，bmi表示多光谱基础层图像，oir表示红外权重因子，λir表示预设的红外基础权重,bir表示红外基础层图像，ohi表示高光谱权重因子，λhi表示预设的高光谱基础权重，bhi表示高光谱基础层图像，ovis表示可见光权重因子，λvis表示预设的可见光基础权重，bvis表示可见光基础层图像。

50、可选地，所述病害识别模型的构建方法包括：

51、采集同一场景多源拍摄的多源信息图像；

52、在多源信息图像中人工标记出第一关注信息病虫害的区域位置、类型信息，并根据人工标记从图像中裁切出含有第一关注信息区域位置的图像样本，即正样本；以及第二关注信息区域的图像样本，即负样本；基于正样本和负样本建立样本数据库；

53、利用所述样本数据库，按照经典adaboost,haar-like算法训练级联强分类器；

54、搭建基于深度卷积神经网络的病害识别初始模型，利用所述样本数据库对病害识别初始模型进行训练、调参和验证，得到所述病害识别模型。

55、可选地，基于所述病害识别模型对所述融合图像进行识别，并输出结果文件包括：

56、获取所述融合图像为待识别图片，并通过滑动窗口方法遍历所述待识别图片，并基于训练后的级联强分类器对所述待识别图片进行识别，判断所述待识别图片中是否存在所述第一关注信息的区域；

57、将所述待识别图片中检测出的所述第一关注信息的区域归一化为相同大小的图像尺寸，输入所述病害识别模型进行识别，判断所述第一关注信息的区域的类型；

58、输出结果文件，包括识别出的所述第一关注信息的区域位置、种类信息，并在所述待识别图片的对应位置中用方框和数字编号将所述第一关注信息的区域和类别标注出来。

59、本发明的有益效果为：

60、本发明基于多源信息图像的显著性，生成融合图像，充分发挥各类源信息图像的优势，获取更精准的图像；通过多源相机获取拍摄的图像，增加图像获取的可信度，进一步使图像识别内容更加准确；基于多源图像的显著性作为权重，对多源图像进行融合，使图像的细节更精准的体现；通过训练后的卷积神经网络对图像进行识别，且表示出了病虫害的位置和类型，增加了病虫害识别的效率。