一种集成电路板表面霉菌检测方法、装置、设备及介质

本发明涉及计算机视觉的，更具体的，涉及一种集成电路板表面霉菌检测方法、装置、设备及介质。

背景技术：

1、霉菌在特定的温度和湿度条件下会迅速繁殖并生长(一般温度为25～35度，相对湿度80％以上)，其所分泌的弱酸能够腐蚀电路板上的金属细线，导致电路功能的损坏。然而，传统的霉菌检测方法通常依赖人工操作和观察，这不仅费时费力，还容易出现主观判断偏差，其准确性和效率均需提升。

2、现有技术如公开号为cn114742842a的中国发明专利，于2022.07.12公开了一种智能霉菌检测方法、系统和装置，方法包括以下步骤：获取紫外线灯照射下的待检测区域图片；使用yolov5算法对图片进行检测，根据检测结果判断是否存在霉菌，若是，则输出告警信息；若否，则继续接收待检测区域的图片，持续进行检测。该发明具有准确性强、检测效率高等优点。

3、然而，该方法的不足在于，无法自动识别霉菌的类别和面积，仅能判断其是否存在。因此，现有的霉菌检测方法在应对集成电路板上的霉菌检测时，仍存在精准性和效能不够的问题。

技术实现思路

1、本发明旨在利用深度学习技术，通过系统化的数据预处理、特征提取、特征图后处理、检测与分割等步骤，提供一种集成电路板表面霉菌检测方法、装置、设备及介质，以优化生产效率，提升产品质量；通过这种创新方法，可以及时准确的判断出霉菌的位置、类别和面积，从而综合分析霉菌对集成电路性能的影响，具有显著的市场和应用价值。

2、为解决上述技术问题，本发明的技术方案如下：

3、一种集成电路板表面霉菌检测方法，包括以下步骤：

4、s1、获取集成电路板表面的霉菌图片数据集，进行数据增强，并输入模型进行训练；

5、s2、通过efficient vit模型对增强后的霉菌图片进行处理，提取p1、p2、p3三个特征图；

6、s3、结合特征图信息，使用csp模块和cbam模块进行特征增强，并通过rpn网络提取兴趣区域；

7、s4、对兴趣区域进行霉菌类别检测和边界框回归，通过全卷积网络进行mask图像分割，对每个像素值进行分类，计算霉菌图像的面积。

8、进一步，步骤s1具体包括：

9、s11、使用光学显微镜获取集成电路板表面的霉菌图片数据集；

10、s12、对霉菌数据集进行数据增强，所述数据增强包括随机翻转、随机平移、mosaic操作；

11、s13、将数据增强后的数据集输入模型进行训练，以提升霉菌检测能力。

12、进一步，步骤s2具体包括：

13、s21、将经过数据增强的数据集训练图片输入efficient vit模型；

14、s22、在efficientvit block中采用深度卷积进行令牌交换，再经过多个ffn层和级联组注意力cga，获得p1特征图、p2特征图、p3特征图。

15、进一步，p1特征图、p2特征图、p3特征图分别为上层特征图、中间层特征图、下层特征图。

16、进一步，步骤s3具体包括特征图信息增强和roi区域提取；

17、所述特征图信息增强包括以下步骤：

18、将p3特征图上采样后与p2特征图结合，使用csp模块和cbam模块进行特征提取，得到特征图feat1；

19、将特征图feat1上采样后与p1特征图结合，再次使用csp模块和cbam模块进行特征提取，得到特征图新p1；

20、将特征图新p1下采样后与特征图feat1堆叠，再次使用csp模块和cbam模块进行特征提取，得到特征图新p2；

21、将特征图新p2下采样后与p3特征图堆叠，再次使用csp模块和cbam模块进行特征提取，得到特征图新p3。

22、进一步，所述roi区域提取包括以下步骤：

23、将特征图新p1、特征图新p2、特征图新p3输入rpn网络，获取特征图感兴趣区域，生成特征图建议框；

24、基于特征图建议框截取对应的roi区域，进行roi align操作，调整roi区域尺寸。

25、进一步，步骤s4包括检测和分割，其中，所述检测包括以下步骤：

26、将roi区域图像通过全连接层和softmax计算每个proposal中的霉菌类别的概率，输出概率向量；

27、利用全连接层对roi区域进行边界框回归，获得每个建议roi的位置偏移量；

28、对检测结果的边界框进行非极大值抑制后处理，获取最终的检测结果；

29、其中，所述分割包括以下步骤：

30、将roi区域图像通过全卷积网络进行mask图像分割，进行卷积和池化操作，减小特征图大小；

31、进行反卷积操作，即插值操作，不断增大特征图，以得到原始图像大小的特征图；

32、对每个像素值进行分类，实现霉菌图像面积的计算。

33、一种集成电路板表面霉菌检测装置，包括：

34、数据预处理模块，用于获取集成电路板表面的霉菌图片数据集，进行数据增强，并输入模型进行训练；

35、特征提取模块，用于通过efficient vit模型对增强后的霉菌图片进行处理，提取p1、p2、p3三个特征图；

36、特征图后处理模块，用于结合特征图信息，使用csp模块和cbam模块进行特征增强，并通过rpn网络提取兴趣区域；

37、检测与分割模块，用于对兴趣区域进行霉菌类别检测和边界框回归，通过全卷积网络进行mask图像分割，对每个像素值进行分类，计算霉菌图像的面积。

38、一种电子设备，包括：

39、至少一个处理器；以及

40、与所述至少一个处理器通信连接的存储器；其中，

41、所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述的集成电路板表面霉菌检测方法。

42、一种计算机可读存储介质，其上存储有计算机可读指令，当所述计算机可读指令被计算机的处理器执行时，使计算机执行前述的集成电路板表面霉菌检测方法。

43、与现有技术相比，本发明技术方案的有益效果是：

44、1、准确性提高：通过深度学习技术，能够对集成电路板中的霉菌进行精确定位和分类，大大提高了检测的准确性；

45、2、检测效率提高：采用特征提取和特征图后处理技术，能够高效地进行特征提取和图像分割，快速准确地检测出霉菌，提高了检测的效率；

46、3、生产效率提高：通过准确和高效的霉菌检测方法，能够及时发现和处理集成电路板中的霉菌问题，避免了因霉菌引起的产品质量问题，提高了生产效率；

47、4、产品质量提高：通过准确和高效的霉菌检测方法，能够有效降低产品中的霉菌污染率，保证产品的质量和可靠性；

48、5、自动化程度提高：利用深度学习技术，可以实现对集成电路板中霉菌的自动检测分析和面积计算，减少了人工操作和判断的需求，提高了检测的自动化程度。