一种基于正样本的深度学习缺陷检测方法及装置与流程

工业表面缺陷检测方法，提供了一种基于正样本的深度学习缺陷检测方法及装置。

背景技术：

1、工业表面缺陷检测对产出的工件进行质量把控，是工件生产过程中十分重要的一个环节。实际生产中多数仍然采用人工质检方式，该方式不仅效率低，而且容易受到人为主观因素影响，长时间工作疲劳状态容易造成误判。因此，基于图像视觉处理的自动化工业表面缺陷检测方法研发十分重要且有意义。

2、基于图像视觉处理方法可以分为基于传统图像和基于深度学习两大类。基于传统图像的工件表面缺陷检测方法比如融合手工提取特征与分类网络，手工提取特征很容易受环境干扰，比如玻璃反光和物体阴影；而且由于缺陷种类多，差异大，人工设计特征困难。基于底图对比的传统图像方法在实际应用中，会存在相机畸变以及光干扰导致无法对齐底图和待检测图从而产生误判。基于深度学习的方法利用卷积网络自动提取特征相对传统图像具有更强的鲁棒性和稳定性。常见的深度学习方法需要大量的数据进行监督学习，而工件表面缺陷检测任务中，缺陷工件是小概率事件，缺陷样本数量少，难以通过少量样本获得一个稳健且泛化性好的模型。

3、综上，针对工业缺陷检测现有难点：环境噪声干扰大；缺陷种类多，形态差异大；存在微小缺陷；正常样本多，缺陷样本少，缺陷未知性强；本专利提出一种基于正样本的深度学习酒瓶缺陷检测方法。。

技术实现思路

1、本发明的目的在于提供了一种基于正样本的深度学习缺陷检测方法及装置，通过结合正样本深度学习技术和级联检测网络，有效解决了传统方法中存在的样本不平衡、环境干扰和微小缺陷检测难题，提高了检测的准确性和鲁棒性。

2、为了实现上述目的，本发明采用以下技术方案：

3、一种基于正样本的深度学习缺陷检测方法，包括以下步骤：

4、步骤1、对正常样本数据集dataseta进行预处理，得到预处理后的数据集dataseta；

5、步骤2、对预处理后的数据集dataseta进行训练，得到感兴趣区域定位模型detectmodel；

6、步骤3、对原始正常样本数据集dataseta输入detectmodel，构建底图数据集datasetb，利用底图数据集datasetb构建模板图数据集datasetc以及异常缺陷图数据集，基于底图数据集、模板图数据集以及异常缺陷图数据集进行训练，得到工业缺陷检测模型；

7、步骤4、对实际生产应用过程中的异常图像isrc进行检测，输出异常区域。

8、上述技术方案中，步骤1包括以下步骤：

9、步骤1.1、对正常样本数据集dataseta采用哈希去重法进行样本去重，得到去重后的数据集dataseta。。

10、上述技术方案中，步骤1包括以下步骤：

11、步骤2.1、对数据集dataseta进行感兴趣区域标注和数据增强，得到标注和数据增强后的数据集dataseta；

12、步骤2.2、利用yolov5检测模型监督学习，对增强后的数据集dataseta进行训练，得到感兴趣区域定位模型detectmodel。

13、上述技术方案中，步骤3包括以下步骤：

14、步骤3.1、对原始正常样本数据集dataseta输入detectmodel，获取工件区域，并裁剪出来进行预处理操作，构建底图数据集datasetb；

15、步骤3.2、从底图数据集datasetb中选择分布差异较大的20张作为模板图datasetc，并利用pca对底图进行特征降维，得到模板图datasetc；

16、步骤3.3、生成工件表面缺陷，得到丰富多样的缺陷样本；

17、步骤3.4、促进学习类间差异性和类内相似性构建输入，得到训练数据集；

18、步骤3.5、基于训练数据集构建深度学习工件缺陷检测模型，得到工业缺陷检测模型。

19、上述技术方案中，步骤4包括以下步骤：

20、步骤4.1、对异常图像isrc输入感兴趣区域定位模型detectmodel，得到待检测区域roi图像，并对roi图像进行预处理操作；

21、步骤4.2、对待检测区域roi图像进行灰度化处理和缩放，得到图像gray_roi；

22、步骤4.3、将图像gray_roi与模板图进行匹配与对齐，计算差异，并拼接roi图像、对齐后的模板图以及差异图，送入工业缺陷检测模型；

23、步骤4.4、输出相对roi图像的异常缺陷位置，并将其投影到原始图像isrc，得到最终的异常区域。

24、本发明还提供了一种基于正样本的深度学习缺陷检测装置，包括：

25、预处理模块，用于对正常样本数据集dataseta进行预处理，得到预处理后的数据集dataseta；

26、一级检测网络训练模块，用于对预处理后的数据集dataseta进行一级检测网络训练，得到感兴趣区域定位模型detectmodel；

27、二级检测网络训练模块，用于接收原始正常样本数据集dataseta并输入至detectmodel，构建底图数据集datasetb，利用底图数据集datasetb构建模板图数据集datasetc以及异常缺陷图数据集，基于底图数据集、模板图数据集以及异常缺陷图数据集进行训练，得到工业缺陷检测模型；

28、检测模块，用于对实际生产应用过程中的异常图像isrc进行检测，输出异常区域。

29、上述装置中，预处理模块进一步包括：

30、样本去重子模块，对正常样本数据集dataseta采用哈希去重法进行样本去重，得到去重后的数据集dataseta。

31、上述装置中，一级检测网络训练模块进一步包括：

32、标注与数据增强子模块，用于对数据集dataseta进行感兴趣区域标注和数据增强，得到标注和数据增强后的数据集dataseta；

33、监督学习子模块，利用yolov5检测模型监督学习，对增强后的数据集dataseta进行训练，得到感兴趣区域定位模型detectmodel。

34、上述装置中，二级检测网络训练模块进一步包括：

35、底图构建子模块，用于对原始正常样本数据集dataseta输入detectmodel，获取工件区域，并裁剪出来进行预处理操作，构建底图数据集datasetb；

36、模板选择子模块，用于从底图数据集datasetb中选择分布差异较大的图像作为模板图datasetc，并利用pca对底图进行特征降维；

37、缺陷样本生成子模块，用于生成工件表面缺陷，得到丰富多样的缺陷样本；

38、训练数据集构建子模块，用于促进学习类间差异性和类内相似性构建输入，得到训练数据集；

39、深度学习工件缺陷检测模型构建子模块，基于训练数据集构建深度学习工件缺陷检测模型，得到工业缺陷检测模型。

40、上述装置中，检测模块进一步包括：

41、感兴趣区域定位子模块，用于对异常图像isrc输入感兴趣区域定位模型detectmodel，得到待检测区域roi图像，并对roi图像进行预处理操作；

42、图像处理子模块，用于对待检测区域roi图像进行灰度化处理和缩放，得到图像gray_roi；

43、模板匹配与对齐子模块，用于将图像gray_roi与模板图进行匹配与对齐，计算差异，并拼接roi图像、对齐后的模板图以及差异图，送入工业缺陷检测模型；

44、异常区域输出子模块，用于输出相对roi图像的异常缺陷位置，并将其投影到原始图像isrc，得到最终的异常区域。

45、因为本发明采用上述技术手段，因此具备以下有益效果：

46、1、级联检测网络设计：该方案采用两级检测网络，第一级进行感兴趣目标定位，有效裁剪掉无关背景区域，这不仅减少了背景干扰和误报，而且提高了工件缺陷在第二级检测网络输入中的占比，特别有利于工业环境中小目标的检测，显著提高了召回率。

47、2、在线异常生成算法：该方案通过在线生成算法实时生成丰富多样的缺陷样本，这些样本在分布、形态上都能很好地模拟真实的工件缺陷。这一创新不仅解决了工业缺陷样本稀少、难以获得泛化性强模型的问题，还直接节省了人工标注的高昂成本。

48、3、输入融合策略：在二级检测网络中，该方案融合了待检测图像、正常模板图像以及两者的差异图像作为输入，这种策略有效促进了网络学习类间差异性和类内相似性。这不仅能提高未知缺陷状态的召回率，还能加速网络收敛，提高训练效率。

49、4、yolov5结构改进：针对工业缺陷的特点，该方案对yolov5结构进行了改进，融合了更浅层的第二层卷积模块输出的特征。这一改进使得模型能够更好地捕捉工件缺陷的浅层特征(如轮廓、对比度等)，从而进一步提高了缺陷检测的召回率。同时，为了增强模型鲁棒性，深层特征增加自注意力机制self-attention获得更多全局信息。