PCB表面缺陷检测模型构建方法及装置、检测方法及装置

涉及计算机视觉和深度学习。

背景技术：

1、目标检测是计算机视觉中的一个重要问题，其目的是发现实例的位置并提供相应的类别。小目标检测是目标检测的一个子领域。它在工业场景下的遥感，缺陷检测等方面具有重要的理论和实践意义。近年来，随着电子产品在各领域需求的快速增长，印刷电路板作为电子工业的基石，具有越来越重要的作用。在集成电路快速发展的情况下，pcb变得越来越集成化和小型化。然而，随着pcb尺寸的不断减小，其中的缺陷也变得越来越小，这就意味着缺陷越来越难以检测。但是pcb的质量可以直接影响到电子设备的运行。因此，在pcb相关的生产过程中，进行彻底的缺陷检测过程是提高产品质量和降低公司成本的必要条件。

2、传统的pcb缺陷检测方法分为三大类：人工目测、电气检测和光学检测。人工检查是指工人直接用眼睛和其他设备检查裸露的pcb。人工检测容易受到外界环境因素的干扰，影响缺陷检测的效率。电气测试采用接触测试电路来检测裸pcb中的缺陷，存在电路板二次损伤的风险，且该方法在检测多层pcb方面也受到限制。相比之下，自动光学检测(automated optical inspection,aoi)是一种使用机器视觉技术和图像处理算法的非接触检测方法。工业相机捕捉pcb的图像，将图像传输到计算机，计算机提供缺陷检测结果的反馈。然而，由于缺陷的不显著性和不同缺陷之间的相似性，对pcb表面缺陷的有效定位和分类仍然是一个挑战。

3、随着机器学习技术的进步，支持向量机和多层感知机等传统的机器学习算法开始被研究人员应用到目标检测领域。xie等人将检测过程分为训练阶段和测试阶段，在训练阶段，将焊点划分为几个子区域，然后提取每个子区域的各种特征，在测试阶段，图像获取后的焊点检测包括区域划分、关键特征提取、子区域分类和缺陷诊断。csaba benedek等人提出了一个能够同时处理多个尺度上的各种形状电路元件的自动贝叶斯视觉检测框架。chen等介绍了一种基于svm的数据驱动方法，用于检测集成电路线缆焊接缺陷。liao等利用svm分类器开发了一种基于统计学习的pcb自动化检测系统。首先，利用部分hausdorff距离确定缺陷的位置。然后，使用支持向量机(svm)分类器对缺陷模式进行分类。这些传统的机器学习算法在处理小规模样本时表现令人印象深刻，因为它们具有优越的泛化能力，但在处理高维数据时，它们的效果却不尽如人意。

4、随着深度学习进入目标检测领域，深度学习在处理非线性以及高维问题方面效果很显著。通常，基于深度学习的检测网络可以分为单阶段网络和两阶段网络。单阶段网络目标检测算法可以直接获得目标的类别概率和位置坐标值，因此具有更快的检测速度。liu等提出了单镜头多盒检测器(single-shot multi-box detector,ssd)，有效提高了小目标检测的有效性。joseph and santosh等提出了一种可以直接对检测性能进行端到端的优化的新的目标检测方法yolo。两阶段算法需要获得具有粗略位置信息的区域建议，然后将候选区域划分为不同的组。代表性的两阶段目标检测算法有区域卷积神经网络(r-cnn)、在r-cnn的基础上，一些研究者提出了许多性能更好的两阶段模型，如fast r-cnn和faster r-cnn。在faster r-cnn的基础上，cascade r-cnn通过级联多个分类器来提高目标定位精度。这两种网络的主要区别在于，单阶段网络在特征提取后直接预测网络中缺陷的位置和类别，而两阶段网络首先生成可能包含缺陷的候选框，然后进行检测过程。由于产生的候选框太多，检测速度较慢。而单阶段网络在单个网络中同时进行训练和检测，不需要明确的区域建议，因此检测速度更快。综上所述，单阶段算法速度较快，但检测精度一般，两阶段算法的检测精度较好，但速度差强人意。

5、随着transformer在自然语言处理中的成功应用，并将其扩展到计算机视觉领域的各种任务中，alexey and lucas等提出了vit(vision transformer)模型，vit将输入图像的大小调整为n个patch，使得在nlp中将图像作为句子直接输入到transformer中成为可能，有效地展示了transformer的巨大潜力。接着，liu等提出了一种可以作为计算机视觉通用骨干的新的vision transformer，称为swin transformer。zhu等提出了deformabledetr(detection transformer)，其注意力模块只关注参考周围的一小部分关键采样点，可以解决detr收敛缓慢和特征分辨率有限的问题。deformable detr在小目标检测上可以比detr获得更好的性能。尽管最近基于transformer的方法取得了令人印象深刻的性能，但transformer仍然存在算力要求高，需要更多的gpu以及参数量巨大两个严重的问题。

技术实现思路

1、为解决现有技术中存在的，现有pcb缺陷检测方法在处理高维数据时，效果不尽如人意，并且，单阶段算法速度较快，但检测精度一般，两阶段算法的检测精度较好，但速度差强人意的技术问题，本发明提供的技术方案为：

2、pcb表面缺陷检测模型构建方法，所述方法包括：

3、采集训练用缺陷pcb表面图像数据集的步骤；

4、所述训练用缺陷pcb表面图像数据集中标注了缺陷的位置和类型信息；

5、根据所述数据集中缺陷类型和位置，生成优化锚盒的步骤；

6、根据所述优化锚盒，对所述训练用缺陷pcb表面图像进行特征提取，得到局部信息和全局信息的特征图的步骤；

7、将不同层次的所述特征图进行特征融合的步骤；

8、对进行融合后的所述特征图进行目标检测，得到所述训练用缺陷pcb表面缺陷的位置和类型的步骤；

9、根据所述训练用缺陷pcb表面图像数据集中标注的缺陷的位置和类型信息，以及经过目标检测得到的所述训练用缺陷pcb表面缺陷的位置和类型，优化预设损失函数的步骤；

10、根据优化后的所述预设损失函数，构建检测模型，根据所述训练用缺陷pcb表面图像数据集对所述检测模型进行训练的步骤。

11、进一步，提供一个优选实施方式，使用聚类算法对数据集中的缺陷进行分析，根据聚类结果选择合适的锚盒尺寸。

12、进一步，提供一个优选实施方式，基于轻量化transformer模块，根据所述优化锚盒，对所述训练用缺陷pcb表面图像进行特征提取。

13、进一步，提供一个优选实施方式，将不同层次的所述特征图中，浅层网络信息和深层特征映射进行融合。

14、基于同一发明构思，本发明还提供了pcb表面缺陷检测模型构建装置，所述装置包括：

15、采集训练用缺陷pcb表面图像数据集的模块；

16、所述训练用缺陷pcb表面图像数据集中标注了缺陷的位置和类型信息；

17、根据所述数据集中缺陷类型和位置，生成优化锚盒的模块；

18、根据所述优化锚盒，对所述训练用缺陷pcb表面图像进行特征提取，得到局部信息和全局信息的特征图的模块；

19、将不同层次的所述特征图进行融合的模块；

20、对进行融合后的所述特征图进行目标检测，得到所述训练用缺陷pcb表面缺陷的位置和类型的模块；

21、根据所述训练用缺陷pcb表面图像数据集中标注的缺陷的位置和类型信息，以及经过目标检测得到的所述训练用缺陷pcb表面缺陷的位置和类型，优化预设损失函数的模块；

22、根据优化后的所述预设损失函数，构建检测模型，根据所述训练用缺陷pcb表面图像数据集对所述检测模型进行训练的模块。

23、基于同一发明构思，本发明还提供了pcb表面缺陷检测方法，所述方法包括：

24、采集待测pcb图像的步骤；

25、根据所述的构建方法构建的模型，对所述待测pcb图像进行缺陷检测的步骤。

26、基于同一发明构思，本发明还提供了pcb表面缺陷检测装置，所述装置包括：

27、采集待测pcb图像的模块；

28、根据所述的构建装置构建的模型，对所述待测pcb图像进行缺陷检测的模块。

29、基于同一发明构思，本发明还提供了计算机储存介质，用于储存计算机程序，当所述计算机程序被计算机读取时，所述计算机执行所述的方法。

30、基于同一发明构思，本发明还提供了计算机，包括处理器和储存介质，当所述处理器读取所述储存介质中储存的计算机程序时，所述计算机执行所述的方法。

31、基于同一发明构思，本发明还提供了计算机程序产品，包括计算机程序，当所述计算机程序被处理器执行时，实现所述的方法。

32、与现有技术相比，本发明提供的技术方案的有益之处在于：

33、本发明提供的pcb表面缺陷检测方法，采用基于k-means++算法的锚框生成机制进行优化，有效缓解了聚类中心点随机选择导致的局部最优解问题。

34、相较于传统的k-means算法，优化后的锚盒生成机制提高了模型的检测精度。

35、本发明提供的pcb表面缺陷检测方法，将transformer与瓶颈块结合，提出了轻量化残差注意力模块，相较于传统transformer，效率更高、复杂性更低。

36、并可以增加c3hlt模块，在提取全局信息的能力上表现优异，有助于提高网络对微小目标的检测能力。

37、本发明提供的pcb表面缺陷检测方法，基于hybrid light transformer module，将c3模块与attention结合，提出了混合注意力模块。c3hla模块利用cbam实现通道和空间注意力机制，提高了模型的性能和泛化能力。

38、本发明提供的pcb表面缺陷检测方法，使用深度可分离卷积取代传统卷积，有效降低了参数大小和计算复杂度。深度可分离卷积在模型压缩和准确性之间取得了良好的平衡。

39、本发明提供的pcb表面缺陷检测方法，增加了专门用于微小目标检测的预测头，提高了对微小目标的检测能力。通过在颈部网络中添加特征融合层，进一步提升了网络对微小目标的检测能力。

40、本发明提供的pcb表面缺陷检测方法，使用siou损失函数替代ciou损失函数，考虑了地面真值盒与预测盒之间的矢量夹角，提高了回归推理的准确性和效率。siou损失函数能够更好地适应不同尺寸尺度对象的检测需求。

41、本发明提供的pcb表面缺陷检测方法，在提高缺陷检测系统的性能、准确性和效率方面取得了显著的效果。与传统方法相比，它更有效地提高了系统的整体性能，并在微小目标检测和全局信息提取方面取得了显著的进展。

42、本发明提供的pcb表面缺陷检测方法，可以应用于自动缺陷检测系统中，特别是在工业生产中，如电子制造、汽车制造、航空航天等领域的产品质量检测。