一种基于吸引排斥对比学习的工业图像缺陷检测方法

本发明涉及工业缺陷检测，尤其涉及一种基于吸引排斥对比学习的工业图像缺陷检测方法。

背景技术：

1、图像异常检测任务在产品质量检验、医疗影像分析、智能安防系统等领域发挥着重要的作用。这项任务的关键在于两点：能否判定出异常和能否准确无误地定位出异常的位置。近年来，随着深度学习、计算机视觉等领域的发展，越来越多的模型已经被实际应用，但是，训练模型需要大量的样本数据，不但要包含正常样本，还要包含异常样本及对应的标签。由于异常样本常常难以获得，换句话说，异常样本数量和种类对于模型训练来说远远不够，异常又通常具有未知性，想要获得异常样本的成本不仅很高，而且制造未知的异常也是个难题。对监督学习方法来说，想要准确定位异常尤其是微弱的异常就要获取足够多的人为标注的训练数据，这是不切实际的。因为，获取异常数据的真实标签标注是一项非常耗时费力的工作，并且要求在该领域具有专家级知识的人参与才可以准确标注，这项工作的确是个不小的挑战。因此，仅利用正常样本进行无监督异常检测定位的方法受到了研究者们广泛地关注。

2、大多数无监督异常检测方法把注意力放到了正常样本上，它只用了正常样本来进行训练，又由于卷积神经网络的高泛化性，导致模型对于异常样本的识别能力是不确定的，在这种范式下，模型只学习到了正常特征，对于异常特征缺乏足够的了解，导致判别性不足，如果在模型训练时能够引入合成的异常样本来参与模型训练，则可以有效缓解此问题。

3、现有的无监督异常检测方法常常利用在imagenet数据集上预训练的模型进行多层级特征提取，基于知识蒸馏的无监督异常检测方法中包含两个网络，一个是教师网络，一个是学生网络。教师网络采用的就是在imagenet上预训练的模型进行多层级特征提取，而学生网络一般是与教师网络结构相同但未预训练的网络，学生尽可能去向教师学习，通过学习逐渐具备检测能力，但这种情况常常会忽视一个重要的问题，就是学生在向教师学习的过程中，使两个网络中生成的正常样本特征尽可能相近的同时生成的异常样本特征也会尽可能相近，这样学生的鉴别能力就有所局限。因此，工业缺陷检测的研究尚处于起步阶段，相应的基础理论和方法框架仍很欠缺。

技术实现思路

1、本发明要解决的技术问题是针对上述现有技术的不足，提供一种基于吸引排斥对比学习的工业图像缺陷检测方法，实现工业缺陷检测。

2、为解决上述技术问题，本发明所采取的技术方案是：一种基于吸引排斥对比学习的工业图像缺陷检测方法，包括以下步骤：

3、步骤1、从已有工业图像数据集中获取正常图像数据；

4、所述的已有工业图像数据集共包含m个不同类别的图像数据集，其中m个为物体类别，n个为纹理类别，m+n＝m；将各个类别数据集均划分为训练集、测试集和标签数据集，其中训练集只包含正常图像，测试集则同时包含正常图像和真实的异常图像；所述的从已有图像数据集中获取正常图像数据是指从训练集中获取的正常图像数据i；

5、步骤2、获取真实的异常图像数据集ta，以及真实的异常图像数据对应的标签数据集tagt；

6、步骤2.1、从已有图像数据集中获取真实的异常图像数据集ta；

7、首先找到各类别数据集的测试集，再从测试集中去掉正常图像部分，最后剩余的真实的异常图像构成的集合即为真实的异常图像数据集ta；

8、步骤2.2、从已有图像数据集中获取真实的异常图像数据对应的标签数据集tagt；

9、所述的从已有图像数据集中获取真实的异常图像数据对应的标签数据集tagt的具体方法为：首先找到各类别数据集中的标签数据集，然后将标签数据集中的所有缺陷类的数据集合起来构成的数据集即为标签数据集tagt；

10、步骤3、基于真实的异常图像数据集ta及其对应的标签数据集tagt，对获取的正常图像数据i进行数据增强获取合成异常图像ia；

11、步骤3.1、对获取的正常图像数据i进行背景检测，并同时生成一个初始掩膜；

12、所述的对获取的正常图像数据i进行背景检测，是指对m个物体类别的图像数据进行背景检测，而n个纹理类的数据不需要进行背景检测；

13、所述的对获取的正常图像数据i进行背景检测的具体方法为：先通过自适应直方图均衡化、全局直方图均衡化对图像色彩进行一定的调整，然后进行高斯滤波去除一些噪声后再阈值化，并进行开运算、闭运算、腐蚀和膨胀操作后得到黑白图像，并将物体部位设置为黑色；

14、所述的生成一个初始掩膜是指生成一个与图像i尺寸相同的全黑图像作为图像i对应的初始掩膜；

15、步骤3.2、对正常图像i在选定区域内随机选点(x,y)；

16、对于物体类，所述的选定区域，是指图像i中对应的经过步骤3.1获取的黑白图像中的黑色区域；对于纹理类来讲，是指图像i中的任何位置；

17、步骤3.3、从真实的异常图像中的异常值处随机选取一点的值乘以透明因子α后赋给图像i中的点(x,y)；

18、从步骤2.1中获取的真实的异常图像数据集ta中随机选取一张真实的异常图像，根据标签数据集tagt中对应的标签数据，从真实的异常图像中的异常值位置随机选取一点的值乘以透明因子α后赋给图像i中的点(x,y)，同时给步骤3.1中图像i对应的初始掩膜中的(x,y)点赋值255；

19、步骤3.4、对图像i进行受限随机采样，继续进行赋值，直到满足异常点数要求为止；

20、所述的受限随机采样是指从图像i中点(x,y)的上下左右四个位置随机选取一个新的点(x',y')，然后按照步骤3.3对该点进行赋值操作，并对初始掩膜中的(x',y')点赋值255，以此类推，直到满足异常点数要求为止，所有被选择的点即可构成一个缺陷块，此时初始掩膜中被赋值255的点即为图像i中该缺陷块对应的异常像素点位置，其余位置为正常像素点位置；

21、步骤3.5、获取合成的异常图像；

22、多次重复执行步骤3.2～步骤3.4，获取多个缺陷块和多个初始掩膜；将多个缺陷块合成，最后获得的图像即为合成的异常图像ia将多个初始掩膜进行或运算，即可获得该合成的异常图像对应的最终掩膜图像；

23、步骤4、构建工业图像缺陷检测模型，并采用步骤3获取的合成异常图像进行模型训练；

24、步骤4.1、将合成的异常图像ia送入教师网络获取多层级特征融合后的特征ft，并将其归一化为特征

25、步骤4.1.1、将合成的异常图像ia送入教师网络提取多层级特征参数；

26、所述的教师网络是指主网络由在imagenet上预训练的resnet18网络构成，在训练和测试时其中的参数保持不变；

27、所述的提取多层级特征参数包括resnet18网络输出的第一层、第二层和第三层特征；

28、步骤4.1.2、将教师网络提取的多层级特征参数进行融合；

29、所述的将提取的多层级特征参数进行融合的具体方法为：对resnet18网络输出的第一层和第二层的特征分别进行卷积和池化操作，使之与第三层的特征对齐；再将第三层特征经过块空间注意力机制提取出需要重点关注的信息，最后执行三个层级特征逐元素加法的操作以获取多层级特征融合后的特征ft；

30、所述的将第三层特征经过块卷积注意力机制提取出需要重点关注的信息的具体方法为：将第三层特征进行r*r的块自适应最大池化和块自适应平均池化操作，再分别进行通道平均池化和通道最大池化，然后将两路池化的结果相加，相加的结果进行核大小为7*7的卷积操作，并进行插值和激活操作获得重要性权重系数，然后将该权重系数再加到第三层特征中获取加权的第三层特征参数，最后将加权的第三层特征参数再送入通道注意力模块进一步增强不同通道的特征表示；

31、步骤4.1.3、将教师网络提取的多层级特征融合后的特征ft进行归一化获得归一化后的特征参数

32、将教师网络提取的多层级特征融合后的特征ft进行归一化的具体方法为：

33、

34、其中，ft(i,j)表示特征ft中(i,j)处的特征，w是特征ft的宽度；

35、步骤4.2、将合成的异常图像ia送入学生网络获取多层级特征融合后的特征fs'；

36、所述的学生网络是指主网络由参数可调的resnet18网络构成，其采用与教师网络相同的方法获取多层级特征融合后的特征fs'；

37、步骤4.3、将步骤4.2中学生网络提取的多层级特征融合后的特征fs'进行去异处理获取特征fs，并将其归一化为特征

38、所述的将步骤4.2中学生网络提取的多层级特征融合后的特征fs'进行去异处理获取特征fs的具体方法为：先在特征fs'上加入高斯噪声将异常多样化，再送去unet网络进行去异处理后获得被修复的特征fs；

39、将特征fs进行归一化的具体方法为：

40、

41、其中，fs(i,j)表示特征fs中(i,j)处的特征，w′是特征fs的宽度；

42、步骤4.4、将归一化后的特征和进行双线性插值调整到输入图像尺寸后进行吸引排斥处理，使正常像素之间差异变小异常像素之间差异变大；

43、所述的吸引排斥处理是指通过最小化正常像素点与异常像素点的损失函数，使正常像素点距离缩小，异常像素点距离增大；

44、步骤4.4.1、计算双线性插值后特征参数和之间的特征差异图；

45、所述的计算双线性插值后特征参数和之间的特征差异图指计算归一化并双线性插值后的特征参数和之间的二范数：

46、

47、其中，fd为双线性插值后特征参数和之间的特征差异图；

48、步骤4.4.2、根据最终掩膜图像获取特征差异图中对应的正常像素点和异常像素点位置，并计算正常像素点与异常像素点的损失函数；

49、所述的正常像素点是指整个合成异常图像中正常的像素点，异常像素点是指整个合成异常图像中为异常的像素点；

50、所述的正常像素点与异常像素点的损失函数的计算公式如下：

51、

52、其中，lossn，lossa分别为正常像素点与异常像素点的损失，nn为正常像素点个数，na为异常像素点个数，μ，dstd为特征差异图的均值和方差，τ1，τ2为可调的参数，fdi和fdj为特征差异图中的分量；

53、步骤4.4.3、计算总损失函数，并通过adam优化器最小化总损失函数来训练从步骤4.1到步骤4.4构建的工业图像缺陷检测模型；

54、所述的总损失函数计算公式如下：

55、loss＝lossn+lossa

56、其中，loss为总损失；

57、步骤5、在测试阶段保持工业图像缺陷检测模型参数不变，通过计算教师网络和学生网络的输出特征差异定位出缺陷位置。

58、采用上述技术方案所产生的有益效果在于：本发明提供的一种基于吸引排斥对比学习的工业图像缺陷检测方法，(1)提出了一种生成异常的新方案，可以更好地精确分割出物体部位，产生形状多样，大小不一的更接近真实异常的合成异常图像，同时还能产出一些未知的异常，使网络见识了更多的异常样本，提高了模型的鲁棒性；(2)提出了一种结构对称功能非对称的教师学生网络模型，对预训练网络参数实现网外微调，提高模型的泛化性能。学生网络中还在特征级上加入高斯噪声和unet网络，使学生网络可利用更多的上下文信息修复破坏区域，使破坏区域恢复到正常的像素值；(3)提出一种吸引与排斥的对比学习方法，能够缩小正常像素特征距离的同时扩大异常像素的特征距离，使模型具有能够更好地鉴别和定位异常区域的能力。(4)根据图像局部不变性理论，提出了块卷积注意力机制，改进了传统的注意力机制，进一步提高了模型对长距离依赖和语义关系的捕捉能力。