PCB缺陷检测方法、系统、设备及存储介质

本技术属于工业产品缺陷检测，具体涉及一种pcb缺陷检测方法、系统、设备及存储介质。

背景技术：

1、印刷电路板（printed circuit board, pcb）作为电子产品中重要的组成部分，其表面有电路元件和密集的导线布局等，pcb的优劣关乎着电子产品的性能和寿命。集成电路（integrated circuit, ic）封装技术的发展，推动着电子产品向着更轻、更薄和更小巧的方向发展，这也要求pcb的电路布局更为紧凑，因此行业对pcb的质量要求会越来越高。

2、pcb生产过程中不可避免产生缺陷；缺陷检测是保证pcb质量的关键环节，pcb缺陷检测面临着一些急需攻克的难点，缺孔（missing hole）、鼠咬（mouse bite）、开路（opencircuit）、短路（short）、毛刺（spur）、假铜（spurious copper）等缺陷大小在整张pcb图片上占比相对较小，pcb的背景图对检测也有影响，这些都会对pcb检测的精度有着很大的影响；因此如何解决这些问题，以提高pcb的检测精度是当前的难点。

技术实现思路

1、本技术实施例的目的是提供一种pcb缺陷检测方法、系统、设备及存储介质，能够解决现有技术中的pcb缺陷检测精度低的技术问题。

2、为了解决上述技术问题，本技术是这样实现的：

3、第一方面，本技术实施例提供了一种pcb缺陷检测方法，该方法包括：

4、获取pcb数据集，对所述pcb数据集进行图像预处理和缺陷标注；

5、创建虚拟运行环境，在所述虚拟运行环境中构建yolov10模型，并对所述yolov10模型进行轻量化处理；

6、将空间到深度卷积spd_conv 模块优化为dspd模块，并将所述dspd模块配置到所述yolov10模型中，得到dspd_yolov10模型；

7、构建双向特征金字塔网络bifpn，并将所述双向特征金字塔网络bifpn配置到所述dspd_yolov10模型的颈部网络中；

8、将所述pcb数据集输入所述dspd_yolov10模型进行训练，并对所述训练结果进行评估；

9、根据训练好的所述dspd_yolov10模型对待检测样品进行检测，得到检测结果。

10、作为本技术第一方面的一种可选实施方式，所述获取pcb数据集，对所述pcb数据集进行图像预处理和缺陷标注；具体如下：

11、对工业生产出的pcb板进行成像，整理得到包括含缺陷的pcb数据集，所述缺陷包括缺孔、鼠咬、开路、短路、毛刺和假铜；通过数据增强的方式，对所述pcb数据集进行扩充；对扩充后的所述pcb数据集进行自适应线性插值超分辨率重建处理，并对所述缺陷进行标记，最终将所述pcb数据集分成训练集、测试集和验证集。

12、根据上述可选实施方式，通过数据增强和自适应线性插值超分辨率重建处理，增加了数据集的多样性和清晰度，从而提高了模型对微小的pcb缺陷的识别能力；精确的缺陷标注和合理的数据集划分有助于模型学习到更准确的特征表示，从而提高缺陷检测的准确性；虽然缺陷标注需要一定的人力投入，但通过自动化和半自动化的工具可以大大减轻这一负担；同时，一旦模型训练完成，它可以高效地检测大量的pcb图像，从而显著降低人工检查的时间和成本。

13、作为本技术第一方面的一种可选实施方式，所述对所述yolov10模型进行轻量化处理的过程为：

14、将yolov10模型中的普通卷积置换为轻量型幻影卷积 ghostconv。

15、根据上述可选实施方式，通过引入ghostconv，可以显著减少yolov10模型的计算量；幻影特征图的生成过程比传统卷积操作更加高效，从而降低了模型的计算复杂度，降低内存占用；轻量化处理后的yolov10模型具有更小的内存占用；这有助于在资源受限的环境中（如嵌入式设备或移动设备）部署模型，提高其实用性；由于计算量和内存占用的减少，轻量化处理后的yolov10模型在运行速度上会有所提升。这对于实时缺陷检测任务来说尤为重要，可以缩短检测时间，提高生产效率；虽然轻量化处理会降低模型的计算量和内存占用，但通过合理的网络设计和参数调整，可以确保模型在性能上不会受到太大影响，这意味着轻量化后的yolov10模型仍然能够保持较高的缺陷检测精度。

16、作为本技术第一方面的一种可选实施方式，所述空间到深度卷积spd_conv 模块包括一个space-to-depth层和一个non-strided convolution层；所述将空间到深度卷积spd_conv 模块优化为dspd模块，并将所述dspd模块配置到所述yolov10模型中，具体为：

17、将所述空间到深度卷积spd_conv 模块中的所述non-strided convolution层删除，并对所述space-to-depth层进行自适应加权处理和深度排序进行优化，得到所述dspd模块；

18、保持所述yolov10模型中主干网络的第一个卷积的步长不变，在其余卷积层后配置所述dspd 模块。

19、根据上述可选实施方式，删除了传统non-strided convolution层，避免压缩通道导致的信息丢失，通过删除non-strided convolution层可以提高yolov10模型的检测精度；通过自适应加权处理可以得到每个特征子图的缺陷特征比重，进而赋予相应的权重，使模型对缺陷的处理更具针对性，减少了不必要的资源浪费，进一步提高了模型的检测精度；通过空间维度处理确保了每个特征子图的空间维度保持一样；优化space-to-depth层的深度排序，这有助于提高yolov10模型的运行效率，特别是在资源受限的环境中；dspd模块能够更好地提取空间特征，将输入图像的空间维度转换为深度维度，相比non-stridedconvolution层的压缩通道，使通道处理更具针对性，减少了特征信息的丢失；dspd模块在处理低分辨率图像和小对象时，需要保留尽可能多的空间信息，dspd模块通过将空间维度的信息转换为深度维度，避免了传统步长卷积和池化操作中的信息丢失；通过对特征的深度维度重新排序，从而可以加快模型的检测速度。

20、作为本技术第一方面的一种可选实施方式，所述dspd模块处理图像的过程如下，

21、所述输入特征图进行切片处理，得到若干特征子图，具体公式如下：

22、；

23、对所述特征子图进行自适应加权处理和空间维度处理，使所述特征子图的空间维度一致，具体公式如下：

24、；

25、再对自适应加权处理和空间维度处理后的特征子图进行拼接操作，具体公式如下：

26、；

27、其中，表示抽样切片函数，x表示输入特征图，s 表示比例，e 表示抽样步长，xs-1，s-1表示在输入特征信息中位置为（s-1，s-1）的特征，ps-1，s-1表示进行自适应加权处理和空间维度处理的xs-1，s-1，、、和分别表示xs-1，s-1、xs-2，s-1、xs-1，s-2和x0，0对应的特征权重值，表示对特征进行空间维度处理，表示比例s对应的输出特征信息，cat是将特征图进行拼接操作的函数。

28、根据上述可选实施方式，通过设置步长e和比例s，抽样切片函数将特征信息抽样切片，切成若干个相同大小的切片，并根据预设条件选取需要的包含缺陷的切片；例如，xs-2,s-1，其为若干切片中的一张切片，下标s-2和s-1分别表示切片对应的水平位置和垂直位置；对切片选取完成后，对每个特征图进行自适应加权处理和空间维度处理；使模型对缺陷的处理更具针对性，减少了不必要的资源浪费，进一步提高了模型的检测精度； 确保了每个特征子图的空间维度保持一样；cat函数将抽样切片函数选取的符合预设特征的切片按照预设循序进行拼接，从而得到新特征图中包含了大量包含缺陷特征的切片；dspd模块通过切片、将切片进行深度维度拼接的方式来生成新的特征表示，这一过程有助于模型更有效地捕捉空间特征；在处理过程中，比例s的选择、步长e的处理、索引与偏移的调整以及特征拼接的顺序都是影响最终新特征的因素；通过合理设计dspd模块，可以将其有效地集成到yolov10等深度学习模型中，以提升模型的性能和效率。

29、作为本技术第一方面的一种可选实施方式，所述将双向特征金字塔网络bifpn配置到所述dspd_yolov10模型的颈部网络中，具体为：

30、将所述yolov10模型颈部网络中的部分concat层替换为所述双向特征金字塔网络bifpn。

31、根据上述可选实施方式，bifpn模块通过跨尺度的特征融合，能够生成更具表现力的特征图，从而提高模型对不同尺度目标的检测能力；将bifpn配置到dspd_yolov10模型的颈部网络中，能够提高模型的检测精度和效率；所选择的部分concat层替层相比其余的concat层更有利于小目标信息的捕获，部分替代是因为本发明在精度和推理速度上选择了一种最优的中和；既不会应为追求精度而忽略了满足工业速度的要求，也不会因为追求速度而放弃了精度在替换concat层为bifpn模块时，需要确保模型的输入输出尺寸和特征图的数量保持不变，以保持模型的兼容性。

32、作为本技术第一方面的一种可选实施方式，所述对训练结果进行评估中，评估指标包括召回率、精确度、平均精确度、平均精确度均值和帧率；

33、所述召回率通过如下公式计算：

34、；

35、所述精确度通过如下公式计算：

36、；

37、所述平均精确度通过如下公式计算：

38、；

39、所述平均精确度均值通过如下公式计算：

40、；

41、所述帧率通过如下公式计算：

42、；

43、其中，recall表示召回率，precision表示精确度，ap表示平均精确度，map表示平均精确度均值，fps表示帧率，fn表示实际为正样本预测为负样本的数量，fp表示实际为负样本预测为正样本的数量，tp表示实际为正样本预测也为正样本的数量，p(r)表示查全率和查准率所包围的函数图像，n表示缺陷类别数，i表示第i个类别，fn表示待检测图片个数，t表示检测所有待检测图片所用的时间。

44、根据上述可选实施方式，平均精确度是对不同置信度阈值下的精确度-召回率（p-r）曲线进行积分得到的面积值；它提供了一个单一的性能指标，用于衡量模型在不同召回率水平下的精确度；平均精确度均值是衡量目标检测算法性能的关键指标之一，它考虑了所有类别的平均检测精度；通过计算每个类别的精度并取平均值，平均精确度均值能够全面反映算法在不同类别上的检测性能；平均精确度均值越高，意味着算法能够更准确地识别出目标物体，且在不同类别上表现更稳定；精确率反映了算法预测为正样本的实例中，真正为正样本的比例；高精确率意味着算法预测的结果更加可靠，减少了误报的情况；在pcb缺陷检测中，高精确率能够确保检测到的缺陷更加准确，减少了不必要的返工和成本浪费；召回率衡量了算法能够正确识别出的正样本占总正样本的比例；高召回率意味着算法能够检测到更多的实际缺陷，减少了漏报的情况；在实际应用中，高召回率对于确保产品质量和安全性至关重要；帧率表示算法每秒能够处理的图片数量；帧率值越高，意味着算法具有越快的处理速度，能够实时或接近实时地处理输入图片；在pcb缺陷检测中，高帧率值能够确保生产线的高效运行，减少等待时间和成本。

45、第二方面，本技术实施例提供了一种pcb缺陷检测系统，所述系统包括：

46、第一获取模块，用于建立yolov10模型，并获取所述网络模型所需的pcb数据集，所述pcb数据集包括训练集、验证集与测试集；

47、第一处理模块，用于对所述第一获取模块获取的所述pcb数据集进行预处理，得到预处理后的所述pcb数据集，；

48、第二处理模块，用于对所述第一获取模块建立的所述yolov10模型进行轻量化处理；

49、第一改进模块，将空间到深度卷积dspd_conv 模块优化为dspd模块，并将所述dspd模块配置到轻量化处理后的所述yolov10模型中，得到dspd_yolov10模型；

50、第二改进模块，将预设的双向特征金字塔网络bifpn配置到所述dspd_yolov10模型的颈部网络中；

51、第一训练模块，通过所述第一处理模块预处理后的pcb数据集对所述第二改进模块改进后的所述dspd_yolov10模型进行训练；

52、第一评估模块，用于对所述第一训练模块的训练结果进行评估。

53、根据本技术第二方面的一种pcb缺陷检测系统，第一获取模块能够建立yolov10模型，并有效地获取和划分pcb数据集为训练集、验证集和测试集，这确保了模型训练过程中有充足、多样化的数据支持，从而提高模型的泛化能力；第一处理模块对pcb数据集进行预处理，这通常包括图像增强等操作，有助于提升模型对pcb缺陷的识别精度，同时减少噪声对模型训练的影响；第二处理模块对yolov10模型进行轻量化处理，这可以显著减少模型的计算复杂度和存储需求，使得模型更适合在资源受限的硬件上运行，提高系统的实际应用性；第一改进模块通过优化空间到深度卷积spd_conv模块为dspd模块，并配置到轻量化后的yolov10模型中，可以进一步提升模型的检测精度。dspd模块可能通过更有效的特征提取和转换，增强了模型对pcb缺陷的识别能力；第二改进模块将预设的双向特征金字塔网络bifpn配置到dspd_yolov10模型的颈部网络中，这有助于模型更好地融合多尺度特征，提高对不同大小和形状的pcb缺陷的检测能力；第一训练模块使用预处理后的pcb数据集对改进后的dspd_yolov10模型进行训练，确保模型能够学习到pcb缺陷的有效特征；第一评估模块对训练结果进行评估，可以量化模型的性能，包括检测精度、召回率等指标，为模型的进一步优化提供数据支持。

54、第三方面，本技术实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序或指令，程序或指令被处理器执行时实现如第一方面所述的方法的步骤。

55、第四方面，本技术实施例提供了一种可读存储介质，可读存储介质上存储程序或指令，程序或指令被处理器执行时实现如第一方面所述的方法的步骤。

56、在本技术实施例中，通过优化spd_conv模块为dspd模块，并配置bifpn网络，dspd_yolov10模型能够更有效地捕捉和利用图像中的特征信息，从而提高缺陷检测的精度；对yolov10模型进行轻量化处理，可以减少模型的计算量和内存占用，从而提升模型的运行效率，使其更适合在实际应用中部署；通过创建虚拟运行环境，可以方便地管理模型开发过程中的依赖关系，确保模型在不同环境中的一致性和可重复性，这有助于增强模型的可扩展性和可维护性；综上所述，pcb缺陷检测方法通过一系列的技术优化和创新，实现了对pcb缺陷的高精度、高效率检测，为pcb制造业的自动化和智能化提供了有力的技术支持。