基于MASKR-CNN的工业场景弱边缘缺陷检测方法及装置

本技术涉及缺陷检测，特别涉及一种基于mask r-cnn的工业场景弱边缘缺陷检测方法及装置。

背景技术：

1、在产品的生产加工过程中，由于表面材料、生产工艺以及生产者水平等因素的影响，产品表面经常会出现一些缺陷，如鼓包、刮痕、气泡、锈迹等。这些缺陷不仅会影响产品外观，还会导致机械性能下降，因此对产品表面缺陷的检测显得尤为重要。

2、产品表面缺陷一方面受到光源和光照方式等因素的影响，一方面受限于设备拍摄精度和角度的限制，在多重因素影响下往往会形成灰度变化缓慢的过渡边缘，即弱边缘。在工业场景下，由于弱边缘缺陷的灰度变化缓慢，相对于强边缘缺陷很难被检测出来。为了解决这一问题，需要有一种有效检测弱边缘缺陷的方法。目前比较常用的解决方案是基于图像处理的缺陷检测技术,该方案主要通过图像去噪、边缘检测、图像分割等步骤进行缺陷检测。

3、然而，传统的图像处理方法对灰度非理想阶跃的弱边缘信息不敏感，难以完整提取缺陷的轮廓，亟待解决。

技术实现思路

1、本技术提供一种基于mask r-cnn的工业场景弱边缘缺陷检测方法及装置，以解决传统的图像处理方法对灰度非理想阶跃的弱边缘信息不敏感，难以完整提取缺陷的轮廓等问题。

2、本技术第一方面实施例提供一种基于mask r-cnn的工业场景弱边缘缺陷检测方法，应用于离线训练阶段，包括以下步骤：基于预设的effcientnet骨干网络、特征图金字塔网络和目标激活函数，优化预设的mask r-cnn网络结构，以生成mask r-cnn优化模型；构建所述mask r-cnn优化模型的工业场景缺陷训练数据集，将所述工业场景缺陷训练数据集输入至所述mask r-cnn优化模型，以根据所述mask r-cnn优化模型对应的目标候选框尺度选择策略和目标掩码预测分支网络生成所述工业缺陷训练数据集对应的掩码评分；建立所述mask r-cnn优化模型的类iou损失函数，并通过所述类iou损失函数和所述掩码评分训练所述mask r-cnn优化模型，生成工业场景缺陷检测模型，以利用所述工业场景缺陷检测模型执行工业场景弱边缘缺陷检测操作。

3、可选地，在本技术的一个实施例中，所述目标候选框尺度选择策略，包括：对所述工业场景缺陷训练数据集进行预处理，以得到标准训练数据集；获取所述标准训练数据集中的标签数据，并确定所述标签数据目标灰度值的最小列索引和最大列索引，以根据所述最小列索引和所述最大列索引获取缺陷锚框宽度和高度；利用预设的聚类算法和iou损失函数计算所述标准训练数据集对应的区域建议网络中与非质心检测框之间距离最小的k个质心检测框，其中，k为正整数；基于所述缺陷锚框宽度和高度、所述k个质心检测框和预设的距离度量策略，确定所述工业场景缺陷训练数据集的目标候选框尺度。

4、可选地，在本技术的一个实施例中，所述根据所述mask r-cnn优化模型对应的目标候选框尺度选择策略和目标掩码预测分支网络生成所述工业缺陷训练数据集对应的掩码评分，包括：获取所述工业场景缺陷训练数据集对应的感兴趣区域特征图和掩码预测特征图；对所述掩码预测特征图进行下采样操作，以生成所述掩码预测特征图对应的下采样掩码特征图；拼接所述感兴趣区域特征图和所述下采样掩码特征图，得到特征拼接图，并将所述特征拼接图输入至所述目标掩码预测分支网络，以输出所述工业缺陷训练数据集对应的掩码评分。

5、可选地，在本技术的一个实施例中，所述类iou损失函数的数学表达式为：

6、

7、其中，j表示第j个候选框掩码；m,n表示像素坐标位置；表示掩码预测的概率值；为真实掩码标签。

8、本技术第二方面实施例提供一种基于mask r-cnn的工业场景弱边缘缺陷检测方法，应用于在线检测阶段，其中，包括以下步骤：实时采集目标工业场景中的待检测目标图像数据；将所述待检测目标图像数据输入至预先训练的工业场景缺陷检测模型中，以输出工业场景弱边缘缺陷检测结果，其中，所述工业场景缺陷检测模型通过利用预设的工业场景缺陷训练数据集，并结合目标候选框尺度选择策略、目标掩码预测分支网络和类iou损失函数对预设的effcientnet骨干网络、特征图金字塔网络和目标激活函数构建的mask r-cnn优化模型进行训练得到。

9、本技术第三方面实施例提供一种基于mask r-cnn的工业场景弱边缘缺陷检测装置，应用于离线训练阶段，包括：建模模块，用于基于预设的effcientnet骨干网络、特征图金字塔网络和目标激活函数，优化预设的mask r-cnn网络结构，以生成mask r-cnn优化模型；评分模块，用于构建所述mask r-cnn优化模型的工业场景缺陷训练数据集，将所述工业场景缺陷训练数据集输入至所述mask r-cnn优化模型，以根据所述mask r-cnn优化模型对应的目标候选框尺度选择策略和目标掩码预测分支网络生成所述工业缺陷训练数据集对应的掩码评分；训练模块，用于建立所述mask r-cnn优化模型的类iou损失函数，并通过所述类iou损失函数和所述掩码评分训练所述mask r-cnn优化模型，生成工业场景缺陷检测模型，以利用所述工业场景缺陷检测模型执行工业场景弱边缘缺陷检测操作。

10、可选地，在本技术的一个实施例中，所述评分模块包括：预处理单元，用于对所述工业场景缺陷训练数据集进行预处理，以得到标准训练数据集；第一获取单元，用于获取所述标准训练数据集中的标签数据，并确定所述标签数据目标灰度值的最小列索引和最大列索引，以根据所述最小列索引和所述最大列索引获取缺陷锚框宽度和高度；计算单元，用于利用预设的聚类算法和iou损失函数计算所述标准训练数据集对应的区域建议网络中与非质心检测框之间距离最小的k个质心检测框，其中，k为正整数；确定单元，用于基于所述缺陷锚框宽度和高度、所述k个质心检测框和预设的距离度量策略，确定所述工业场景缺陷训练数据集的目标候选框尺度。

11、可选地，在本技术的一个实施例中，所述评分模块还包括：第二获取单元，用于获取所述工业场景缺陷训练数据集对应的感兴趣区域特征图和掩码预测特征图；下采样单元，用于对所述掩码预测特征图进行下采样操作，以生成所述掩码预测特征图对应的下采样掩码特征图；拼接单元，用于拼接所述感兴趣区域特征图和所述下采样掩码特征图，得到特征拼接图，并将所述特征拼接图输入至所述目标掩码预测分支网络，以输出所述工业缺陷训练数据集对应的掩码评分。

12、可选地，在本技术的一个实施例中，所述类iou损失函数的数学表达式为：

13、

14、其中，j表示第j个候选框掩码；m,n表示像素坐标位置；表示掩码预测的概率值；为真实掩码标签。

15、本技术第四方面实施例提供一种基于mask r-cnn的工业场景弱边缘缺陷检测装置，应用于在线检测阶段，包括：采集模块，用于实时采集目标工业场景中的待检测目标图像数据；检测模块，用于将所述待检测目标图像数据输入至预先训练的工业场景缺陷检测模型中，以输出工业场景弱边缘缺陷检测结果，其中，所述工业场景缺陷检测模型通过利用预设的工业场景缺陷训练数据集，并结合目标候选框尺度选择策略、目标掩码预测分支网络和类iou损失函数对预设的effcientnet骨干网络、特征图金字塔网络和目标激活函数构建的mask r-cnn优化模型进行训练得到。

16、本技术第五方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的基于mask r-cnn的工业场景弱边缘缺陷检测方法。

17、本技术第六方面实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，该程序被处理器执行时实现如上的基于mask r-cnn的工业场景弱边缘缺陷检测方法。

18、由此，本技术的实施例具有以下有益效果：

19、本技术的实施例可通过基于预设的effcientnet骨干网络、特征图金字塔网络和目标激活函数，优化预设的mask r-cnn网络结构，以生成mask r-cnn优化模型；构建maskr-cnn优化模型的工业场景缺陷训练数据集，将工业场景缺陷训练数据集输入至mask r-cnn优化模型，以根据mask r-cnn优化模型对应的目标候选框尺度选择策略和目标掩码预测分支网络生成工业缺陷训练数据集对应的掩码评分；建立mask r-cnn优化模型的类iou损失函数，并通过类iou损失函数和掩码评分训练mask r-cnn优化模型，生成工业场景缺陷检测模型，以利用工业场景缺陷检测模型执行工业场景弱边缘缺陷检测操作。本技术通过对mask r-cnn的网络结构进行优化，并利用聚类算法策略改进候选框的尺度选择，且对mask r-cnn的损失函数进行部分调整，从而实现良好的弱边缘缺陷轮廓判断效果。由此，解决了传统的图像处理方法对灰度非理想阶跃的弱边缘信息不敏感，难以完整提取缺陷的轮廓等问题。

20、本技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。