一种基于工业场景的半监督语义分割缺陷检测方法和系统

本发明涉及图像分析，具体为一种基于工业场景的半监督语义分割缺陷检测方法和系统。

背景技术：

1、传统的缺陷检测方法依赖于人工对图像进行标注，然后使用监督学习算法进行训练和检测。然而，由于工业场景复杂多变，传统的监督学习算法在缺乏充足标注数据的情况下，往往难以取得良好的检测效果。

2、半监督语义分割缺陷检测方法通过借助无标注数据的学习模式在一定程度上能够提升缺陷检测的准确率。例如基于自动编码器(ae)方法或生成对抗网络(gan)方法生成的重建模型，往往通过以最小的误差重建正常图像，并根据重建图像误差定位缺陷异常，然而由于工业场景图像的复杂性和多变性，这些方法容易忽略微小缺陷以及缺陷边缘部分，造成缺陷检测准确率较低。

技术实现思路

1、为解决上述背景技术中容易忽略工业图像微小缺陷以及缺陷边缘部分，造成缺陷检测准确率较低的问题，本发明提供了一种基于工业场景的半监督语义分割缺陷检测方法和系统。

2、本发明技术方案如下：

3、一种基于工业场景的半监督语义分割缺陷检测方法，包括如下操作：

4、s1、利用若干个带有缺陷标签的图像，对语义分割模型进行训练，当语义分割模型的交叉熵损失值不大于交叉熵损失阈值，且对应缺陷学习得分不小于得分阈值时，得到训练语义分割模型；语义分割模型的处理操作为：输入图像经卷积神经网络处理，得到分辨率增强特征图；将分辨率增强特征图的浅层特征图和中层特征图，经通道融合处理和卷积处理，得到通道特征图；将通道特征图与分辨率增强特征图的空间特征聚合图进行特征融合处理，得到语义分割图，用于获取交叉熵损失值或/和缺陷学习得分；浅层特征图和中层特征图分别为第一比例尺寸和第二比例尺寸的分辨率增强特征图；第一比例尺寸大于第二比例尺寸；

5、s2、待检测图像分别经图像层面增强处理和特征层面增强处理，得到待检测图像层面增强图和待检测特征层面增强图；待检测图像层面增强图和待检测特征层面增强图分别经训练语义分割模型处理，实时获取图像层面伪标签预测图和特征层面伪标签预测图；利用特征层面伪标签预测图对应的分割图标签值，对图像层面伪标签预测图进行约束处理，获取第一约束值；利用图像层面伪标签预测图对应的分割图标签值，对特征层面伪标签预测图进行约束处理，获取第二约束值；基于第一约束值和第二约束值，获取双向约束总值；将第一约束值对应的缺陷学习得分与第二约束值对应的缺陷学习得分的和，作为约束缺陷得分；当双向约束总值不大于约束阈值，且约束缺陷得分不小于约束得分阈值时，输出当前的图像层面伪标签预测图或特征层面伪标签预测图，作为缺陷检测结果。

6、s2中第一约束值为：特征层面伪标签预测图中所有像素点预测值，与图像层面伪标签预测图中各自相应位置处像素点分割图标签值的平滑交叉熵损失值的均值，和特征层面伪标签预测图的尺寸大小的比值；在图像层面伪标签预测图中，当前像素点的分割图标签值，是基于当前像素点的预测值与预测阈值之间的大小对比关系得到的。

7、缺陷学习得分的获取方法具体为：获取当前特征图中所有像素值的预测值和对应的分割标签值；将所有像素值的分割标签值中，数量最多的分割标签值对应缺陷种类，作为得分缺陷类别；将预测值大于预设得分阈值，且分割标签值为得分缺陷类别的像素点总和值，作为初始缺陷得分；初始缺陷得分经归一化处理后与预设得分阈值的乘积，作为缺陷学习得分；当前特征图为带有缺陷标签的图像、或待检测图像层面增强图、或待检测特征层面增强图；在s1中对语义分割模型进行训练的过程中，所有带有缺陷标签的图像的初始缺陷学习得分均值为语义分割模型的初始缺陷学习得分。

8、s1中通道融合处理的操作具体为：浅层特征图经膨胀卷积和特征通道处理，得到第一通道特征图；中层特征图经特征通道处理，得到第二通道特征图；第二通道特征图与第一通道特征图经拼接处理，得到通道拼接图，用于执行卷积的操作；特征通道处理的操作具体为：输入依次经全局平均池化、一维卷积和激活函数处理后，与输入进行加权处理，得到输出，作为第一通道特征图或第二通道特征图。

9、s1中分辨率增强特征图的空间特征聚合图的获取方法具体为：分辨率增强特征图经空洞卷积、通道注意力处理、空间注意力处理、卷积和上采样处理，得到空间特征聚合图；空洞卷积的操作具体为：分辨率增强特征图分别经若干个卷积处理和池化处理后，进行拼接，得到空洞卷积图，用于执行通道注意力处理的操作；在通道注意力处理中，是基于全连接实现特征映射；在空间注意力处理中，是基于空洞卷积实现空间特征聚合。

10、s2中图像层面增强处理的操作具体为：获取待检测图像的复杂度值，判断复杂度值是否超过复杂阈值；若不超过，对待检测图像进行强扰动处理，得到强扰动图像，作为待检测图像层面增强图；强扰动处理可通过注入噪声，或/和随机图像擦除实现；若超过，对待检测图像进行弱扰动处理，得到弱扰动图像，作为待检测图像层面增强图；弱扰动处理可通过随机选择旋转、或/和平移、或/和错切、或/和翻转、或/和裁剪实现。

11、待检测图像的复杂度值是基于待检测图像的形状信息、或/和颜色信息、或/和纹理信息或/和对比度信息得到的。

12、一种基于工业场景的半监督语义分割缺陷检测系统，包括：

13、训练语义分割模型生成模块，用于利用若干个带有缺陷标签的图像，对语义分割模型进行训练，当语义分割模型的交叉熵损失值不大于交叉熵损失阈值，且对应缺陷学习得分不小于得分阈值时，得到训练语义分割模型；语义分割模型的处理操作为：输入图像经卷积神经网络处理，得到分辨率增强特征图；将分辨率增强特征图的浅层特征图和中层特征图，经通道融合处理和卷积处理，得到通道特征图；将通道特征图与分辨率增强特征图的空间特征聚合图进行特征融合处理，得到语义分割图，用于获取交叉熵损失值或/和缺陷学习得分；浅层特征图和中层特征图分别为第一比例尺寸和第二比例尺寸的分辨率增强特征图；第一比例尺寸大于第二比例尺寸；

14、缺陷检测结果生成模块，用于待检测图像分别经图像层面增强处理和特征层面增强处理，得到待检测图像层面增强图和待检测特征层面增强图；待检测图像层面增强图和待检测特征层面增强图分别经训练语义分割模型处理，实时获取图像层面伪标签预测图和特征层面伪标签预测图；利用特征层面伪标签预测图对应的分割图标签值，对图像层面伪标签预测图进行约束处理，获取第一约束值；利用图像层面伪标签预测图对应的分割图标签值，对特征层面伪标签预测图进行约束处理，获取第二约束值；基于第一约束值和第二约束值，获取双向约束总值；将第一约束值对应的缺陷学习得分与第二约束值对应的缺陷学习得分的和，作为约束缺陷得分；当双向约束总值不大于约束阈值，且约束缺陷得分不小于约束得分阈值时，输出当前的图像层面伪标签预测图或特征层面伪标签预测图，作为缺陷检测结果。

15、一种基于工业场景的半监督语义分割缺陷检测设备，包括处理器和存储器，其中，处理器执行存储器中保存的计算机程序时实现上述的基于工业场景的半监督语义分割缺陷检测方法。

16、一种计算机可读存储介质，用于存储计算机程序，其中，计算机程序被处理器执行时实现上述的基于工业场景的半监督语义分割缺陷检测方法。

17、本发明的有益效果在于：

18、本发明提供的一种基于工业场景的半监督语义分割缺陷检测方法，设计能有效捕捉图像微小缺陷和缺陷边缘特征的语义分割模型，并进行训练，训练过程中实时获取语义分割模型的交叉熵损失值和缺陷学习得分，动态调整语义分割模型训练质量，最终得到缺陷检测准确度高，稳定性好，计算效率高的训练语义分割模型；然后，在正式对待检测图像进行缺陷检测的过程中，除了对待检测图像进行基于图像层面增强处理的图像层面扰动外，还增加一条分支对待检测图像进行基于特征层面增强处理的特征空间扰动，并将两条分支在训练语义分割模型处理中的预测结果进行交叉约束学习，动态监督交叉约束学习质量，输出微小缺陷以及缺陷边缘部分最精准的逐像素特征，实现缺陷部位的精准检测。