一种工业零件表面缺陷的检测的方法及装置

本发明涉及图像处理领域，尤其涉及一种工业零件表面缺陷的检测的方法及装置。

背景技术：

1、随着机器视觉目标检测的不断发展，工业上用图像自动目标检测代替人工检查零件瑕疵的应用越来越多，生产效率和精确度相较人工检查得到了很大提高，因此，在工业中使用机器目标检测技术代替人工已经成为一种不可避免的趋势。但是，在目前实际的工业生产中，将机器视觉目标检测技术应用到实际工业生产中仍存在着诸多困难，现有技术中工业零件的瑕疵检测主要还是由人工完成，容易理解地，人工在高度集中精力、重复连续的作业环境下，很容易眼睛疲劳，无法保证检测精确度。

2、同时，工业零件的表面缺陷检测对于零件质量控制至关重要，表面缺陷不仅影响美观还会导致零件关键部位的失效。然而即便现有技术的一些方案中引入了机器视觉检测零件缺陷以辅助人工检测零件，其仍然存在着检测精度不高的问题，尤其对于零件上微小不明显或难于检测的表面缺陷，极易容易出现误检和漏检的发生，进而导致零件批次的整体良率不合格。

3、为了克服现有技术存在的上述缺陷，本领域亟需一种工业零件表面缺陷的检测方法及装置，可以克服零件样本中不显著的小目标缺陷检测以及缺陷样本难检测的问题，实现对工业零件表面缺陷的高精度检测，提升生产效率。

技术实现思路

1、以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之序。

2、为了克服现有技术存在的上述缺陷，本发明提供了一种工业零件表面缺陷的检测方法，包括：获取待检测工业零件的图像数据；将该图像数据输入改进优化的faster r-cnn模型，该faster r-cnn模型经由训练阶段迭代训练及测试阶段测试后获得，该faster r-cnn模型的改进优化包括在模型的分类回归层中采用包含可调权重因子的focal loss损失函数作为分类损失函数；以及根据该faster r-cnn模型的输出确定该待检测工业零件的缺陷类别及位置以进行检测工作。

3、在一实施例中，优选地，该faster r-cnn模型中整个网络的损失函数为：

4、

5、其中，l(·)为整个网络的损失函数，i表示锚框索引，pi表示锚框预测为目标的概率，代表对应锚框为真实目标的概率，即当第i个预测锚框与真实目标间的交并比iou>0.7时，该锚框为正类，当iou<0.3时，该锚框为负类，当0.3<iou<0.7时，锚框不参与训练；ti为预测的边界框参数，为正类锚框对应的真实目标框，ncls表示一个最小批中的所有样本数量，nreg表示锚框位置的个数，lreg为边界框回归损失函数，lcls为分类损失函数；

6、其中，该分类损失函数lcls为：

7、

8、其中，ai是用来平衡正负样本权重的超参数，当样本为正样本时，ai＝a，当样本为正样本时，ai＝1-a，a∈(0,1)；a、γ为该可调权重因子中的可调参数。

9、在一实施例中，优选地，该可调权重因子中可调参数a的取值范围为0.2～0.3，γ的取值范围为1.9～2.1。

10、在一实施例中，优选地，该faster r-cnn模型的改进优化还可以包括在模型中加入注意力机制。

11、在一实施例中，优选地，该注意力机制为nam注意力机制，该faster r-cnn模型的改进优化还包括在模型的特征提取层的每个网络块末端嵌入nam注意力模块。

12、在一实施例中，优选地，该faster r-cnn模型的训练阶段可以包括：获取工业生产中的零件图像数据集；根据零件的缺陷类别和固有特征在该图像数据集中进行零件缺陷类别和位置的标签标定；将该图像数据集与标签数据划分为训练集和测试集；以及将该训练集输入该改进优化的faster r-cnn模型进行迭代训练；该测试阶段包括：将该测试集输入该改进优化的faster r-cnn模型进行模型预测精度的测试，选取性能评价指标以确定最高预测精度的模型，用于该待检测工业零件的检测工作，该性能评价指标包括模型预测的平均准确率均值。

13、在一实施例中，优选地，该faster r-cnn模型包括特征提取层、区域候选层、兴趣域池化层以及该分类回归层，该将该训练集输入该改进优化的faster r-cnn模型进行迭代训练，可以包括：将该训练集输入该特征提取层，输出图片特征；将该图片特征和对应的标签数据输入该区域候选层，输出区域建议候选框；该图片特征和该区域建议候选框经过该兴趣域池化层后输入该分类回归层，输出兴趣区域中零件表面缺陷所属的类别和缺陷在图像中精确的位置；以及根据该faster r-cnn模型的损失函数计算本次训练的损失值，并不断反向传播，进行迭代训练，进而获取最优的faster r-cnn模型。

14、在一实施例中，优选地，该faster r-cnn模型的特征提取层包括resnet50残差结构、fpn特征金字塔结构以及加入模型的nam注意力机制。

15、在一实施例中，优选地，该将该图片特征和对应的标签数据输入该区域候选层，输出区域建议候选框，可以包括：包含该图片特征的特征图上的每个点上生成多个大小不同的锚框；将该锚框输入该区域候选层，用卷积方法在该特征图上计算每个锚框的预测得分与预测偏移值；以及根据每个锚框的预测得分、预测偏移值以及对应的标签数据计算损失值以迭代训练，选取预测得分高的锚框作为该区域建议候选框输出。

16、在一实施例中，优选地，该图片特征和该区域建议候选框经过该兴趣域池化层后输入该分类回归层，输出兴趣区域中零件表面缺陷所属的类别和缺陷在图像中精确的位置，可以包括：该兴趣域池化层对包含该图片特征的特征图与该区域建议候选框进行尺度变换，将该区域候选建议框映射回该特征图的尺寸并固定其尺寸大小；以及将该特征图和固定尺寸大小的区域候选建议框输入该分类回归层，通过全连接层与softmax函数计算每个区域候选建议框的所属类别，并输出概率向量，同时采用边界框回归获得每个区域候选建议框的位置偏移量，用以回归更精确的目标检测框。

17、在一实施例中，优选地，该进行迭代训练，进而获取最优的faster r-cnn模型，可以包括：第一步：用imagenet模型初始化，先独立训练一个区域候选网络；第二步：仍然用imagenet模型初始化，采用上一步训练后的区域候选网络产生的候选框作为输入，训练一个fast r-cnn网络；第三步：采用上一步的fast r-cnn网络模型重新初始化r区域候选网络，但不更新fast r-cnn网络模型的共享卷积层，只更新区域候选网络的特有层；以及第四步：采用第二步的fast r-cnn网络模型重新初始化，但不更新fast r-cnn网络模型的共享卷积层，使用第三步更新后的区域候选网络重新产生候选框作为输入，训练一个fast r-cnn网络，直至达到区域候选网络和最终的检测网络共享卷积层。

18、在一实施例中，优选地，该获取待检测工业零件的图像数据，可以包括：采用视频流数据集制作方法对工业零件进行固定背景环境的视频拍摄，获取零件视频；以及将该零件视频以固定帧率裁剪视频图像，删除模糊图像并保留清晰图像，得到该待检测工业零件的图像数据。

19、在一实施例中，优选地，该faster r-cnn模型的训练阶段还可以包括：对该图像数据集和对应的标签数据进行增强预处理，具体包括对该图像数据集中的每张图片随机进行翻转、放大缩小、饱和度加强和饱和度减弱处理。

20、本发明的另一方面还提供了一种工业零件表面缺陷的检测装置，包括：存储器；以及与该存储器耦接的处理器，该处理器配置用于执行如上文中任一项所描述的工业零件表面缺陷的检测方法。

21、本发明还提供了一种计算机可读介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上文中任一项所描述的工业零件表面缺陷的检测方法。

22、本发明提供的工业零件表面缺陷的检测方法，采用优化改进的faster r-cnn目标检测模型，通过改进损失函数，有效地处理了表面瑕疵图像样本的不均衡问题，提高模型预测性能，进而使得瑕疵检测精确度显著提高。此外，在模型中加入nam注意力机制，使得计算机在执行模型训练学习时能够将算力更多地集中在重要特征上，抑制输入的图像数据中不显著的特征，调整权重，并且避免了额外的全连接、卷积等计算，在提高网络性能的同时保持高效的计算能力，进一步提升零件缺陷检测的生产效率。