基于样本增强的异常检测模型建立方法及异常检测方法

本发明属于图像异常检测领域，更具体地，涉及基于样本增强的异常检测模型建立方法及异常检测方法。

背景技术：

1、大到飞机机翼，小到芯片晶粒，工业制品在现代社会中无处不在。异常检测，旨在发现各种工业制品的外观瑕疵，是保障产品质量、维持生产稳定的重要技术之一。传统的异常检测需要人工筛查，成本高、效率低，难以覆盖大规模的质检需求。近年来，随着工业成像、计算机视觉和深度学习等领域的新技术层出不穷，基于视觉的异常缺陷检测技术得到了迅速的发展，成为了针对产品外观质检的一种有效的解决方案，引发了学术界和工业界的强烈关注。

2、一般的深度学习方法的训练依赖于大规模精确标注的数据，但在实际生产中，往往无法预料异常的类型以及具体特征，并且异常样本数量极其有限。因此在缺乏异常样本的情况下，如何将深度学习方法应用至异常检测领域中逐渐成为计算机视觉领域新兴的研究热点之一。

3、针对异常检测领域中异常样本缺乏的问题，在申请公布号为cn116935129a的专利文件中，公开了一种基于动态学习提示的零样本异常图像检测方法，该方法的模型在训练阶段通过学习正常样本特征，检测阶段则使用学习到的特征重构输入图像，进而与输入图像比较差异得到异常区域热力图。该方法缺乏异常信息的指导，难以学习到正常与异常之间的分类面，仅能检测出明显的异常情况，对于很多意外情况则无法正常识别，泛化性差。

4、另一类方法提出使用复制粘贴、旋转或尺度等变换等方式生成异常图像，但这些方法生成的异常图像真实性较低，其中异常区域与原图差异性明显。例如，在申请公布号为cn115170546a、cn115409822a、cn116508069a的专利文件中，均提出基于随机复制粘贴数据增强方式构建缺陷样本动态生成网络，将无缺陷样本与动态构建的缺陷样本合并作为模型的输入，在此基础上，根据需要产生分类或定位标签辅助异常检测模型训练。这类方法构造的缺陷往往纹理异常区域明显，检测模型从这些样本中学习得到的正常样本空间与异常样本空间的分类界限宽松，且与真实缺陷差别较大，检测精度低，容易存在误检、漏检的情况。

技术实现思路

1、针对现有技术的缺陷和改进需求，本发明提供了基于样本增强的异常检测模型建立方法及异常检测方法，其目的在于，基于正常图像生成具有真实性和多样性的异常图像，以解决缺少异常样本的问题，提高训练所得异常检测模型的检测精度。

2、为实现上述目的，按照本发明的一个方面，提供了一种基于样本增强的异常检测模型建立方法，包括：

3、获取目标对象的不含异常的正常图像集合，对其中的正常图像进行随机多三角形仿射变换，得到相应的异常图像，利用正常图像与异常图像构建训练样本集；

4、利用训练样本集对深度学习模型进行训练，训练结束后得到用于根据目标对象的图像检测目标对象是否存在异常的异常检测模型；

5、其中，随机多三角形仿射变换包括如下步骤：

6、(s1)从原始图像中随机选取一块区域，复制为图像sp1；

7、(s2)将图像sp1沿横向、纵向分别等分为n份、m份，形成(n+1)*(m+1)个点，以这些点的坐标为元素，构建坐标矩阵c；n,m∈n+；

8、(s3)对于坐标矩阵c中的每一个点p，在图像sp1中以点p为中心的正方形内随机选取一点p'，以点p'的坐标为元素，构建坐标矩阵c'；

9、(s4)应用delaunay三角形对坐标矩阵c'进行三角形划分，得到三角形集合；

10、(s5)对于三角形集合中的每一个三角形t′，获取其三个顶点(p′i,p′j,p′k)在坐标矩阵c中对应的三个点(pi,pj,pk)所构成的三角形t，计算两个三角形间的仿射变换矩阵h后，将图像sp1中位于三角形t内的像素均按照仿射变换矩阵h变换至三角形t′内，由所有的三角形t′构成图像sp2；

11、(s6)通过泊松融合将图像sp2随机粘贴回原始图像中，得到对应的异常图像。

12、进一步地，步骤(s3)中，点p'所在正方形边长a∈[4,32]。

13、进一步地，若图像最小等分长d∈[4,32]，则a＝d，否则，a为[4,32]范围内随机选取的值；

14、其中，w和h分别表示图像sp1的横向长度和纵向长度，min表示取最小值。

15、进一步地，所述步骤(s1)中，从原始图像中随机选取的块区域，其大小为原始图像的0.1～0.15倍，并且其宽高比为1:3～3:1。

16、进一步地，异常检测模型包括resnet18网络及其后连接的多个全卷积层。

17、进一步地，在利用训练样本集对深度学习模型进行训练时，每一训练批次的训练样本同时包括正常图像及对应的异常图像。

18、进一步地，本发明提供的基于样本增强的异常检测模型建立方法，还包括：

19、获取目标对象的不含异常的正常图像和含有异常的异常图像，构建验证样本集；

20、在训练结束后，利用验证样本集对训练所得异常检测模型进行验证，以评估异常检测模型的检测性能是否满足预设要求，若不满足，则利用训练样本集对异常检测模型进行再次训练，将再次训练后的异常检测模型作为最终的异常检测模型。

21、按照本发明的又一个方面，提供了一种异常检测方法，包括：

22、将目标对象的图像输入至由本发明提供的上述基于样本增强的异常检测模型建立方法建立所得的异常检测模型，从异常检测模型的输出中获取检测结果。

23、按照本发明的又一个方面，提供了一种基于样本增强的异常检测模型建立方法，包括：

24、计算机可读存储介质，用于存储计算机程序；

25、以及处理器，用于读取计算机可读存储介质中存储的计算机程序，执行本发明提供的上述基于样本增强的异常检测模型建立方法。

26、按照本发明的又一个方面，提供了一种异常检测系统，包括：

27、计算机可读存储介质，用于存储计算机程序；

28、以及处理器，用于读取计算机可读存储介质中存储的计算机程序，执行本发明提供的上述基于样本增强的异常检测方法。

29、总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：

30、(1)本发明在利用正常图像生成异常图像时，基于delaunay三角划分将构建仿射后的坐标矩阵划分为多个三角形区域，与自然中的缺陷结构的划分平面的结构特性更为相似，由此能够提高模拟的合成缺陷的表面的真实性；在此基础上，对于每一个三角形区域分别建立仿射变换矩阵，并完成该区域内像素的变换，由于仿射后坐标矩阵中的每一个点都是基于仿射前坐标矩阵中相应的点随机生成的，因此，每个三角形区域的仿射变换矩阵均不相同，由此能够模拟缺陷的多样性。通过泊松融合将合成的缺陷随机粘贴到原始图像中，能够实现缺陷与背景之间的无缝融合，解决了图像块与粘贴区域周边纹理大规模不连续的问题，进而提高异常合成的精细度。总的来说，本发明能够生成具有真实性和多样性的异常图像，有效实现样本增强，利用合成的异常样本与正常样本共同训练异常检测网络，可以提高神经网络方法训练中学习正常异常分界面的准确性，从而有效提高模型的检测精度，减少误检和漏检的情况。

31、(2)在本发明的优选方案中，构建仿射后的坐标矩阵时，设置变换后点所在的正方形边长的范围为[4,32]，能够有效避免图像失真或无法合成缺陷的问题，进一步提高异常图像的真实性。在进一步地优选方案中，若最小等分长位于[4,32]的范围内，则设置正方形边长为最小等分长，由此能够在保证有效合成异常且不失真，并且能够在保证正方形间不重叠的情况下获得最大的变换范围，有利于提高异常的多样性。

32、(3)在本发明优选的方案中，从原始图像中随机选取的区域，其大小为原始图像的0.1～0.15倍，并且其宽高比为1:3～3:1；由此设置缺陷的尺寸和形状，与实际缺陷尺寸和形状相符，能够保证后续的模型训练过程中，模型能够学习到更细致的特征。

33、(4)在本发明优选的方案中，异常检测模型为resnet18及其后连接的多个全卷积层构成，该结构能够在保证检测精度的情况下，有效简化模型结构，提高训练效率。