一种金属件外观缺陷图像检测方法、系统、设备及介质

本发明属于人工智能，涉及人工智能中的图像处理，尤其涉及一种金属件外观缺陷图像检测方法、系统、设备及介质。

背景技术：

1、随着物联网、大数据、人工智能的发展以及经济的快速增长和人类生活水平的提高，在金属缺陷检测领域，基于金属件外观缺陷图像检测的应用研究受到了越来越多的重视。在半导体、pcb、汽车装配、液晶屏、3c、光伏电池、纺织等行业中，产品外观与产品性能有着千丝万缕的联系。表面缺陷检测是阻止残次品流入市场的重要手段，利用机器视觉的技术进行检测效率高、成本低，是未来发展的主要方向。除此之外，表面缺陷检测也适用于道路、铁轨、瓷砖、隧道内壁等设施以及农业、木材的质量检测中，关系着国计民生。因此对于该领域的相关研究具有重要的意义。

2、目前，表面缺陷可通过以下方式进行检测:电磁检测法、激光超声检测法、光学检测法、声学检测法、红外检测法、x射线检测法以及机器视觉检测法。其中使用机器视觉的方法进行无损检测，避免了传统人工检测效率低、耗时长、成本高、劳动强度大、人眼的分辨率有限并带有主观意识的问题，因此广泛应用于诸多领域。然而传统目标检测技术有两个需要解决的问题：其一是传统的目标检测算法在生成候选框的过程中时间复杂度过高，产生了很多冗余的候选框；其二是传统目标检测算法使用手工设计的特征提取器进行特征提取，手工特征的设计难度较高且特征提取能力比较弱，算法鲁棒性较差，难以适应复杂的真实场景。

3、针对传统的目标检测算法特征提取能力不足的问题，基于深度学习的目标检测算法使用深度神经网络对输入进行特征提取。对于候选框的生成问题，目前基于深度学习的目标检测算法主要有两种解决方案：1)先进行region proposal（区域提取），然后进行分类和回归的two-stage（两阶段）深度学习目标检测算法，常见的如r-cnn、fast r-cnn、fasterr-cnn等；2)是基于全卷积网络的one_stage（单阶段）深度学习目标检测算法，这类算法的主要特点是不用生成候预选框，直接通过卷积网络学习到的特征进行分类和边框回归，常见的结构包括ssd和yolo系列。

4、申请号为202111430299.0的发明专利申请就公开了一种基于stm r-cnn的金属表面缺陷检测方法，其以swin transformer作为骨干特征提取网络，mix-fpn混合特征金字塔作为特征提取层，设计级联区域卷积神经网络框架的金属表面图像检测算法，将transformer结构应用于金属表面瑕疵检测领域，与单纯基于卷积网络的深度学习目标检测算法相比，能够达到更加精确的检测效果。首先，使用swin transformer作为骨干特征提取网络代替常规的残差网络结构，增强特征网络对隐含在图像中的深层语义信息的提取能力。然后设计mix-fpn混合特征金字塔网络，通过特征金字塔融合不同特征层信息，其次设计multi-stage r-cnn级联结构：通过不同的iou阈值使每个stage专注于检测特定范围内的region proposal。最后使用软性非极大值抑制(soft-nms)和fp16混合精度训练优化提升模型性能。其采用基于transformer的特征提取骨干架构作为基础特征提取网络，实现增强长语义信息的特征提取能力；mix-fpn混合特征金字塔网络框架，通过混合高低层特征语义信息，增强算法适应检测目标大尺度变化的特性；通过级联r-cnn检测阶段，实现多阈值逐级上升策略，实现检测精度的提升。

5、上述发明专利申请一样，现有的基于深度神经网络的目标检测算法主要是依赖深层特征进行目标检测，对浅层特征利用不足，因此对小目标的检测还有很大的困难；同时由于在目标框筛选阶段，非极大值抑制算法剔除部分冗余框的同时也将部分正样本的包围框删减而造成多目标检测漏检。

技术实现思路

1、本发明的目的在于：为了解决现有技术中存在对小目标检测较为困难、且目标框筛选阶段容易将部分正样本的包围框删减掉从而造成多目标检测漏检的问题，提供一种金属件外观缺陷图像检测方法、系统、设备及介质。

2、本发明为了实现上述目的具体采用以下技术方案：

3、一种金属件外观缺陷图像检测方法，包括以下步骤：

4、步骤s1，获取样本数据；

5、获取金属件外观缺陷图像样本，并标注缺陷区域，形成标签数据；

6、步骤s2，构建缺陷图像检测模型；

7、构建缺陷图像检测模型，缺陷图像检测模型包括vgg特征提取网络、图像融合模块、rpn网络以及冗余框去除模块；vgg特征提取网络通过最后的4层池化层依次输出c4-c7这4张特征图；4张特征图输入图像融合模块，图像融合模块对4张特征图进行融合，得到融合后的特征图；融合后的特征图输入rpn网络，rpn网络输出建议框；建议框输入冗余框去除模块，冗余框去除模块去除冗余的建议框，输出最终的边界框；

8、图像融合模块在进行图像融合时，特征图c7通过卷积后得到特征图p5，将特征图c6与特征图p5处理到相同尺寸后相接、合并得到特征图p4，特征图c5与特征图p4处理到相同尺寸后相接、合并得到特征图p3， 特征图c4与特征图p3处理到相同尺寸后相接、合并得到特征图p2，特征图p2通过卷积后得到特征图n2，特征图n2与特征图p3处理到相同尺寸后相接、合并得到特征图n3，特征图n3与特征图p4处理到相同尺寸后相接、合并得到特征图n4，特征图n4与特征图p5处理到相同尺寸后相接、合并得到特征图n5，特征图n2-n5经过融合操作得到融合后的特征图；

9、步骤s3，训练缺陷图像检测模型；

10、采用步骤s1中的金属件外观缺陷图像样本即标签数据对步骤s2构建的缺陷图像检测模型进行训练，得到成熟的缺陷图像检测模型；

11、步骤s4，缺陷检测；

12、获取待检测的金属件外观图像，并输入成熟的缺陷图像检测模型，缺陷图像检测模型输出检测结果。

13、进一步地，步骤s2中，vgg特征提取网络包括依次设置的第一卷积层、第二卷积层、第一池化层、第三卷积层、第四卷积层、第二池化层、第五卷积层、第六卷积层、第七卷积层、第三池化层、第八卷积层、第九卷积层、第十卷积层、第四池化层、第十一卷积层、第十二卷积层、第十三卷积层以及第五池化层，并将第二池化层、第三池化层、第四池化层以及第五池化层输出的特征图作为vgg特征提取网络依次输出的特征图c4-c7。

14、进一步地，步骤s2中，rpn网络包括一个分类层、一个回归层，分类层对每个建议框输出两组得分，分别是：当前建议框包含目标而不是背景的得分、当前建议框是背景而不包含目标的得分；回归层对每个建议框输出四个偏移量，并根据四个偏移量得到rpn网络预测的建议框的坐标信息。

15、进一步地，步骤s2中，冗余框去除模块先将建议框重新映射到原特征图上，并将建议框内的特征输入全连接层中进行目标的回归及分类；

16、全连接层保留建议框内的特征中的感兴趣区域，将不能平分内部的像素点进行双线性插值处理，并将得到的结果作为该区域的像素值，然后再进行最大池化处理。

17、进一步地，冗余框去除模块在进行目标的回归时，采用改进的nms算法去除冗余的边界框，具体为：

18、步骤s2-1，将经最大池化处理后的每个缺陷的建议框进行处理后形成边界框并归入集合s；

19、步骤s2-2，从集合s中选择出每个缺陷的得分最高的边界框，将边界框从集合s中删除，并更新为集合t；

20、步骤s2-3，计算每个选择出来的得分最高的边界框与集合t的交并比，当选择出来的某个得分最高的边界框与集合t的交并比大于等于预设阈值时，采用权值惩罚策略降低该边界框的得分；当选择出来的某个得分最高的边界框与集合t的交并比小于预设阈值时，该边界框的得分保持不变；根据每个选择出来的得分最高的边界框的最新得分，更新集合s；

21、步骤s2-4，对于每个选择出来的得分最高的边界框，找到有重叠的边界框，计算每一个有重叠的边界框的权重p，并根据每个有重叠边界框的权重进行加权平均，更新该边界框，并将更新后的边界框添加到集合d中；

22、步骤s2-5，重复步骤s2-2至步骤s2-4，直至集合t为空集，并将最终的集合d作为去除冗余后最终的边界框。

23、进一步地，步骤s2-4中，权重p的计算方式为：

24、

25、加权平均时，计算方式为：

26、

27、其中，表示加权后得到的目标框，表示目标框索引，表示当前索引表示的目标框，表示权重中可调参数，表示当前索引表示的方差。

28、一种金属件外观缺陷图像检测系统，包括：

29、样本数据获取模块，用于获取金属件外观缺陷图像样本，并标注缺陷区域，形成标签数据；

30、缺陷图像检测模型构建模块，用于构建缺陷图像检测模型，缺陷图像检测模型包括vgg特征提取网络、图像融合模块、rpn网络以及冗余框去除模块；vgg特征提取网络通过最后的4层池化层依次输出c4-c7这4张特征图；4张特征图输入图像融合模块，图像融合模块对4张特征图进行融合，得到融合后的特征图；融合后的特征图输入rpn网络，rpn网络输出建议框；建议框输入冗余框去除模块，冗余框去除模块去除冗余的建议框，输出最终的边界框；

31、图像融合模块在进行图像融合时，特征图c7通过卷积后得到特征图p5，将特征图c6与特征图p5处理到相同尺寸后相接、合并得到特征图p4，特征图c5与特征图p4处理到相同尺寸后相接、合并得到特征图p3， 特征图c4与特征图p3处理到相同尺寸后相接、合并得到特征图p2，特征图p2通过卷积后得到特征图n2，特征图n2与特征图p3处理到相同尺寸后相接、合并得到特征图n3，特征图n3与特征图p4处理到相同尺寸后相接、合并得到特征图n4，特征图n4与特征图p5处理到相同尺寸后相接、合并得到特征图n5，特征图n2-n5经过融合操作得到融合后的特征图；

32、缺陷图像检测模型训练模块，用于采用样本数据获取模块中的金属件外观缺陷图像样本即标签数据对缺陷图像检测模型构建模块构建的缺陷图像检测模型进行训练，得到成熟的缺陷图像检测模型；

33、缺陷检测模块，用于获取待检测的金属件外观图像，并输入成熟的缺陷图像检测模型，缺陷图像检测模型输出检测结果。

34、一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述方法的步骤。

35、一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述方法的步骤。

36、本发明的有益效果如下：

37、1、本发明中，采用了双向特征融合来提高网络对金属裂缝中小目标的提取能力，通过自上而下融合、自下而上的融合，在自下而上融合后得到的特征图中融合了前面多个特征图的特征，其即包含了浅层特征信息，又包含了深层特征信息，从而极大的丰富了最后一层特征图的语义信息，实现对金属裂缝等小目标检测有效检测，且检测效率高、检测效果好。

38、2、本发明中，采用了改进的nms算法，通过构建一种iou的权重，来建模有多大把握认为当前框和真实框是重合的，并提出一种方法根据iou权重加权合并多个框优化最终生成框，这样生成的结果框准确率大大上升；同时在原来的基础上引入新的加权函数，比原始的线性加权函数更加平滑，对于负样本的剔除更加精准，减少正样本的包围框的删减，有效降低目标检测遗漏的问题。