PCB缺陷检测方法、系统、设备和存储介质

本技术属于缺陷检测领域，具体涉及一种pcb缺陷检测方法、系统、设备和存储介质。

背景技术：

1、印刷电路板(printed circuit board , pcb)行业作为电子信息产业的基础，广泛应用于工业制造、通讯、医疗和航天等领域。但是 pcb 的制造过程复杂，需要经过十几道复杂的工艺，每一个工序都对后期产品的良品率有着极其重要的影响，因此在出厂前对其进行检测是确保产品正常销售的关键所在；传统的人工检测方法耗时耗力，人力成本高，检测准确率容易受到个人主观意识和工作时长的影响以及可能破坏产品表面等问题，而且随着 pcb 的结构越来越复杂，利用人眼判别已经不切实际了；

2、目前，传统的图像处理方法，由于光源对其影响较大，并且对小目标缺陷存在大量的误检、漏检；基于深度学习的 pcb 缺陷检测方法由于其优异的检测性能和端到端的检测流程以及廉价的系统成本，受到了广泛应用。

技术实现思路

1、本技术实施例的目的是提供一种pcb缺陷检测方法、系统、设备和存储介质，能够解决现有技术中pcb缺陷检测精度低和漏检率高的技术问题。

2、为了解决上述技术问题，本技术是这样实现的：

3、第一方面，本技术实施例提供了一种pcb缺陷检测方法，该方法包括：

4、获取pcb数据集，以对获取的所述pcb数据集的图像进行预处理；

5、构建yolo-v10n 网络模型，将所述yolo-v10n 网络模型中主干网络的sppf模块修改为改进后的easpf模块；

6、构建特征融合网络bifpn，并将所述主干网络提取到的特征传入所述特征融合网络 bifpn 中；

7、在所述主干网络和所述特征融合网络bifpn之间加入自适应mbam 注意力机制模块，以同时自适应处理通道和空间的特征；

8、将所述pcb数据集输入到改进后的所述yolo-v10n网络模型进行预训练，取训练损失值最小的预训练权重进行迁移学习，将所述pcb数据集和所述预训练权重结合进行训练，得到最优权重；

9、根据所述最优权重对待检测图像进行检测，对检测结果进行评价，实现对 pcb 缺陷的检测。

10、作为本技术第一方面的一种可选实施方式，所述easpf模块为特征提取模块，所述easpf模块包含卷积块、注意力机制模块、全连接层以及扩张卷积模块。

11、根据上述可选实施方式，卷积块用于初步提取图像中的局部特征，通过多层卷积操作，可以逐渐捕获到更抽象和复杂的特征信息；通过引入注意力机制，模型能够自动学习并关注图像中对于缺陷检测更为关键的部分，从而抑制不重要的背景信息，提高特征提取的准确性和效率；全连接层将提取到的特征进行进一步整合和映射，为后续的决策和分类提供更为丰富和有效的特征表示；扩张卷积模块通过增加卷积核的感受野，能够在不增加计算量的前提下，捕获到更大范围的空间上下文信息，这对于识别复杂和微小的pcb缺陷尤为重要；注意力机制模块和扩张卷积模块的结合，使得模型能够更好地应对光照变化、噪声干扰等复杂环境条件下的pcb缺陷检测任务，提高了模型的鲁棒性和适应性。

12、作为本技术第一方面的一种可选实施方式， 所述特征融合网络bifpn是一种双向加权特征金字塔融合架构，由多个 bifpn 块和多个卷积块组成；所述bifpn 块可以将多层的特征信息进行有效的融合，以提高检测精度。

13、根据上述可选实施方式，bifpn块通过双向的跨尺度连接，能够有效地将来自不同层级的特征信息进行融合；这种融合不仅考虑了自顶向下的上采样特征，还结合了自底向上的下采样特征，从而实现了多尺度特征的高效整合；通过多个bifpn块的堆叠，可以进一步加深特征融合的程度，使得最终得到的特征图包含了丰富的上下文信息和精细的细节特征，这对于提高pcb缺陷检测的精度至关重要；由于bifpn能够充分利用多尺度特征信息，使得模型在检测不同大小和形状的缺陷时具有更高的灵敏度和准确性；通过精细的特征融合，模型能够更好地区分缺陷和背景，减少误检和漏检的情况，从而提高整体检测的精度；由于bifpn网络结构的设计，使得模型能够更好地适应不同数据集和场景下的pcb缺陷检测任务；通过在训练过程中学习不同尺度特征之间的关联和权重分配，模型能够自动调整其对不同特征的关注度，从而增强了对新数据和未知缺陷类型的泛化能力；另外，由于bifpn采用了加权融合的方式，可以根据特征的重要性进行自适应调整，从而避免了冗余计算，提高了计算效率。

14、作为本技术第一方面的一种可选实施方式，所述自适应 mbam 注意力机制包括(c, h, w)、(h, c, w)和(w, h, c) 三个分支，分别记为、和；所述自适应 mbam注意力机制的操作过程具体为：

15、对所述、和三个分支分别进行注意力生产处理分别得到对应的注意力权重、和；

16、通过所述注意力权重、和对相应的所述、和做权重相乘处理，得到对应的含有注意力权重的三个分支、和；

17、对所述、和进行自适应加权求和处理，得到自适应 mbam 注意力机制：

18、；

19、其中，h、w、c分别表示输入特征图的高、宽、通道数，、和分别表示自适应mbam 注意力机制的三个分支，、和表示、和对应的注意力权重，、和分别表示、和对应的含有注意力权重的三个分支，output表示自适应 mbam 注意力机制的输出值，、和表示、和对应的特征权重值，权重值越大，则表示对应的特征越明显。

20、根据上述可选实施方式，通过引入三个不同维度的分支，自适应 mbam 注意力机制能够更全面地捕捉输入特征图中的关键信息，包括通道间的相关性、空间位置的重要性以及它们的组合；注意力权重的引入使得模型能够自适应地增强重要特征，同时抑制非关键特征，从而提高特征表示的鲁棒性和准确性；将自适应 mbam 注意力机制集成到神经网络中，可以显著提升模型在复杂场景下的性能，如图像分类、目标检测、语义分割等任务；自适应 mbam 注意力机制的设计具有灵活性和可扩展性，可以根据具体任务的需求调整分支数量、注意力生产处理的方式以及权重值的计算方法。

21、作为本技术第一方面的一种可选实施方式，对所述进行注意力生产处理和权重相乘处理的具体公式如下：

22、；

23、对所述进行注意力生产处理和权重相乘处理的具体公式如下：

24、；

25、对所述进行注意力生产处理和权重相乘处理的具体公式如下：

26、；

27、其中，gap 表示全局平均池化， gmp表示全局最大池化，mlp 表示共享多层感知机，σ表示激活函数，cat 表示将两个特征进行拼接，conv 表示卷积层。

28、根据上述可选实施方式，gap（全局平均池化）和gmp（全局最大池化）用于提取输入特征图的全局上下文信息；这两种池化操作分别捕捉了特征图中的平均激活和最大激活，从而提供了关于特征重要性的全局视角；通过将gap和gmp的输出作为后续mlp的输入，模型能够学习到如何将全局上下文信息用于增强特征的表达能力；mlp和激活函数σ的组合用于对全局上下文信息进行非线性变换，这有助于模型学习到更为复杂和抽象的特征表示；cat操作将来自不同池化策略（gap和gmp）的特征进行融合，从而结合了平均激活和最大激活的互补信息，进一步丰富了特征的多样性；通过另一个卷积层conv对拼接后的特征进行进一步处理，模型能够学习到如何根据特征的重要性自动调整权重；这种自适应的权重调整机制使得模型能够动态地关注输入特征图中的关键部分，从而提高了特征的有效性和针对性；将自适应mbam注意力机制融入yolo-v10n网络模型中，可以显著增强模型对pcb缺陷的识别能力；通过捕捉全局上下文信息、进行非线性变换与特征融合，以及自适应地调整特征权重，模型能够更准确地定位并识别出pcb图像中的缺陷区域；这不仅提高了检测的精度，还增强了模型对光照变化、噪声干扰等复杂环境条件的鲁棒性。

29、作为本技术第一方面的一种可选实施方式，所述对检测结果进行评价中的评价指标包括平均精度均值、精确率、召回率和帧率；

30、所述平均精度均值通过如下公式计算：

31、；

32、所述精确率通过如下公式计算：

33、；

34、所述召回率通过如下公式计算：

35、；

36、所述帧率通过如下公式计算：

37、；

38、其中，map表示平均精度均值，p表示精确率，r表示召回率，fps表示帧率，i 表示第i 个类别，api为第i个类别的平均精度，n表示总类别数，tp表示实际为正样本预测也为正样本的数量，fp 表示实际为负样本预测为正样本的数量，fn表示实际为正样本预测为负样本的数量，fn表示检测图片个数，t 表示检测图片所用的总时间。

39、根据上述可选实施方式，map是衡量目标检测算法性能的关键指标之一，它考虑了所有类别的平均检测精度；通过计算每个类别的精度并取平均值，map能够全面反映算法在不同类别上的检测性能；高map值意味着算法能够更准确地识别出目标物体，且在不同类别上表现稳定；精确率反映了算法预测为正样本的实例中，真正为正样本的比例；高精确率意味着算法预测的结果更加可靠，减少了误报的情况；在pcb缺陷检测中，高精确率能够确保检测到的缺陷更加准确，减少了不必要的返工和成本浪费；召回率衡量了算法能够正确识别出的正样本占总正样本的比例；高召回率意味着算法能够检测到更多的实际缺陷，减少了漏报的情况；在实际应用中，高召回率对于确保产品质量和安全性至关重要；fps是衡量算法处理速度的重要指标，它表示算法每秒能够处理的图片数量；高fps值意味着算法具有更快的处理速度，能够实时或接近实时地处理输入图片；在pcb缺陷检测中，高fps值能够确保生产线的高效运行，减少等待时间和成本。

40、作为本技术第一方面的一种可选实施方式，所述对获取的所述pcb数据集的图像进行预处理，具体为：

41、对生产出的pcb板进行成像，得到包含正负样本的pcb数据集，对所述pcb数据集中的缺陷进行标注；所述缺陷包括短路、断路、缺口、毛刺、漏孔和余铜，使用数据增强的方式，对所述pcb数据集进行扩充。

42、根据上述可选实施方式，通过细致的缺陷标注，算法能够学习到更为准确和具体的缺陷特征，从而提高检测精度；数据增强技术能够增加数据集的多样性，使算法在训练过程中学习到更多的特征变化，进一步提升检测精度；数据增强技术通过模拟不同的光照、角度和噪声等条件，使模型能够更好地适应实际生产环境中的各种变化；这有助于减少模型在未知或复杂条件下的误报和漏报情况，提高模型的泛化能力；预处理过程中的成像和数据增强技术能够优化算法的性能，使其在处理大规模数据集时更加高效和稳定；准确的缺陷标注和丰富的数据集能够加速算法的收敛速度，提高训练效率。

43、第二方面，本技术实施例提供了一种pcb缺陷检测系统，所述系统包括：

44、第一获取模块，用于建立 yolo-v10n 网络模型，并获取所述网络模型所需的pcb数据集，所述pcb数据集包括训练集、验证集与测试集；

45、第一处理模块，用于对所述第一获取模块获取的所述pcb数据集进行预处理，得到预处理后的所述pcb数据集；

46、第一改进模块，用于对所述yolo-v10n 网络模型中的主干网络进行修改，将所述主干网络中的sppf模块修改为改进后的easpf模块；构建特征融合网络bifpn，并将所述主干网络提取到的特征传入所述特征融合网络 bifpn 中；

47、第二改进模块，用于在所述主干网络和所述特征融合网络bifpn之间加入自适应mbam 注意力机制模块，以同时自适应处理通道和空间的特征；

48、第一训练模块，通过所述第一处理模块预处理后的pcb数据集对所述第一修改模块和第二修改模块改进后的所述yolo-v10n 网络模型进行预训练；

49、第二训练模块，对所述第一训练模块中训练损失值最小的预训练权重进行迁移学习；将预处理后的所述pcb数据集和所述预训练权重结合进行训练，得到最优权重；

50、第一评价模块，用于根据所述最优权重对待检测图像进行检测，并对检测结果进行评价。

51、根据本发明第二方面的一种pcb缺陷检测系统，第一获取模块建立yolo-v10n网络模型，并获取pcb数据集（包括训练集、验证集与测试集），为系统提供了基础的网络架构和数据资源，确保了后续处理和分析的可行性；第一处理模块对pcb数据集进行预处理，提高了数据质量，减少了噪声和冗余信息，有助于提升网络模型的训练效果和检测精度；第一改进模块修改yolo-v10n网络模型的主干网络，将sppf模块替换为改进后的easpf模块；构建特征融合网络bifpn，强了网络模型的特征提取能力，提高了对pcb缺陷的敏感度和识别精度；特征融合网络bifpn进一步融合了不同层次的特征信息，提升了模型的泛化能力。第二改进模块在主干网络和特征融合网络bifpn之间加入自适应mbam注意力机制模块，通过自适应地处理通道和空间的特征信息，提高了网络模型对pcb缺陷特征的捕捉能力，进一步提升了检测精度和鲁棒性；第一训练模块使用预处理后的pcb数据集对改进后的yolo-v10n网络模型进行预训练，使网络模型初步学习到pcb缺陷的特征和规律，为后续迁移学习提供了良好的基础；第二训练模块对预训练权重进行迁移学习，结合预处理后的pcb数据集进行训练，得到最优权重，利用迁移学习的优势，加速了网络模型的训练过程，提高了训练效率；同时，通过不断迭代和优化，得到了最优的模型参数，进一步提升了检测精度和稳定性；第一评价模块根据最优权重对待检测图像进行检测，并对检测结果进行评价，能够客观、准确地评估网络模型的性能，为后续的模型优化和改进提供了依据；同时，也为实际应用中的pcb缺陷检测提供了可靠的保障。

52、第三方面，本技术实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序或指令，程序或指令被处理器执行时实现如第一方面所述的方法的步骤。

53、第四方面，本技术实施例提供了一种可读存储介质，可读存储介质上存储程序或指令，程序或指令被处理器执行时实现如第一方面所述的方法的步骤。

54、在本技术实施例中，通过将yolo-v10n网络模型中的主干网络sppf模块修改为改进后的easpf模块，可以捕获更大区域的上下文信息，增强了特征提取的能力，使得模型能够更准确地捕捉到pcb图像中的细节特征，从而提高缺陷检测的精度；相比于传统的相比与pan 架构，引入特征融合网络bifpn能够有效地融合不同层次的特征信息，提高了检测精度，尤其在小目标检测上效果更加明显，而且具有较低的计算复杂度，可以在保持高精度的同时加快检测速度；自适应mbam注意力机制模块的加入，有效的关注浅层的网络中更有用的位置信息，在深层网络能够更好的关注语义信息；使得模型能够同时自适应处理通道和空间的特征，增强了模型对不同pcb缺陷类型的适应性，提高了检测的泛化能力；采用预训练和迁移学习的方法，先使用pcb数据集对改进后的yolo-v10n网络模型进行预训练，然后取训练损失值最小的预训练权重进行迁移学习。这种方法能够加速模型的训练过程，同时减少过拟合的风险，提高模型的稳定性和性能；yolo-v10n本身作为一种实时目标检测算法，具有较快的检测速度。通过改进和优化，该方法在保证检测精度的基础上，进一步提升了检测效率，使得pcb缺陷检测更加快速和高效；该方法通过构建和改进yolo-v10n网络模型，实现了对pcb缺陷的自动化检测；这不仅可以减少人工检测的成本和误差，还可以提高检测的一致性和可靠性，为pcb制造过程中的质量控制提供有力支持。