一种PCB板元器件缺陷检测方法、系统、设备和介质

本发明涉及缺陷检测，特别涉及基于机器视觉的一种pcb板元器件缺陷检测方法、系统、设备和介质。

背景技术：

1、近年来，随着我国3c制造业的飞速发展，微电子技术的应用也向着高密度、高集成和更小器件的方向发展。几乎所有的电子设备都是通过pcb板上各种元器件的电气互联来实现各种功能和复杂的控制，因此pcb板上各类元器件的贴装质量对于最终3c产品的质量有着直接影响。

2、传统的pcb板元器件贴装质量检测方式主要是人工检测和飞针检测等，传统的人工检测方法对工人视力损伤较大，而且存在检测结果一致性差、可靠性低的问题。飞针检测的优点是检测速度快，但是配套设备成本高、维护和使用问题多。随着深度学习以及计算机视觉技术的不断发展，许多企业开始利用自动光学检测aoi技术来检测pcb板元器件贴装质量，并且取得了较好的效果。aoi设备一般会通过电荷耦合元件ccd来采集贴装后的pcb板元器件图像数据，设备内置的智能算法会对ccd采集到的图片进行识别，给出识别结果。

3、与传统方法相比，aoi方法检测速度快、复用性好、使用成本低，因此具有良好的应用前景。例如专利申请号为cn201510570537.6的发明公布了一种印刷线路板aoi检测的图像拼接方法，aoi设备具有至少两个位于同一高度并且间隔排布的摄像头，每个摄像头分别拍摄其所对应区域的需要检测的电路板部位，并将每个摄像头所拍摄的图像存储至aoi设备内部存储中，aoi设备内部处理单元运行有图像处理单元，图像处理单元提取内部存储中的图像，并且使用图像拼接方法将所有摄像头单独拍摄的图像按其所拍摄区域的位置关系拼接成一幅完整的图像，通过多摄像头划区域扫描再拼接的方式解决了大幅pcb的aoi检测问题，适用于大张工作片的aoi检测，能够一次采集多张图片，并行的处理每张图片，提高了aoi检测图像获取的效率。但是这种aoi检测方法对于图片中存在灰色或光影不明显区域的元器件，容易发生误判，另外，由于光学检查受光强、角度、分辨率和其他因素的影响，某些缺陷只能在特定条件下进行检测，因此现有的方法一次只能检测一种或者某几类元器件，限制了aoi检测技术的广泛应用。

技术实现思路

1、为了克服上述现有技术的缺陷，本发明的目的在于提供了基于机器视觉的一种pcb板元器件缺陷检测方法、系统、设备和介质，利用深度学习模型和基于opencv的经典图像处理方法分阶段地处理图像数据，实现pcb板元器件的缺陷检测，本发明还包括了该方法下的系统、设备和介质。

2、为了达到上述目的，本发明的技术方案为：

3、一种pcb板元器件缺陷检测方法，步骤包括：

4、步骤s1:原始图像获取

5、利用ccd相机采用不重叠拍摄方式采集pcb板元器件图像数据，获取数据集样本，取数据集样本中图片分辨率的众值为预设分辨率，把数据集中所有的样本统一转化为预设分辨率大小；

6、步骤s2:图像预处理

7、将数据集样本按照比例划分为训练集和测试集，且保证训练集和测试集中的样本分布保持一致都包含了所有类型的元器件，基于pytorch的transforms模块对训练集的样本图像进行随机中心裁剪、翻转、旋转的数据增强操作；

8、步骤s3:建立深度学习模型cvm

9、深度学习模型cvm分为三个部分，分别为：浅层网络、深层网络和分类器，浅层网络包括三个下采样模块，每个下采样模块又分别由一个1x1卷积层、一个bn层、一个relu激活函数、一个3x3卷积层和一个最大池化层组成；深层网络分为两条支路，一条是卷积支路，另一条是transformer支路，卷积支路由三个3x3卷积层依次连接而成，transformer支路由三个稀疏视觉编码器依序连接组成，每一个稀疏视觉编码器包括局部特征提取模块、全局特征提取模块和特征混合模块；分类器由一个全连接层和softmax函数组成，全连接层的输出通道数等于目标类别个数；

10、通过在浅层网络进行下采样操作，在深层网络采用卷积和视觉编码器两条不同支路分别完成局部信息和全局信息学习，并在两条支路间建立联系加强信息交互，实现低层次-高层次特征联合学习，所述的三个稀疏视觉编码器通过将图片分为不同组别的patch块，只在patch块间计算自注意力；

11、步骤s4：模型训练

12、首先，设置batchsize、epoch、优化器和损失函数超参数，采用adam优化器和余弦退火策略来指引网络参数向理论最优值靠近；然后，将训练集样本数据输入到步骤s3中的深度学习模型cvm中，去学习样本的特点，损失函数选择交叉熵损失函数，目标为损失函数值最小，评价指标选择测试集准确率；最后，深度学习模型cvm不断迭代训练，不断更新网络参数直至模型收敛或者迭代次数达到设定的终止值，得到最终的网络模型ours；

13、步骤s5:元器件图像分类

14、将待检测图像输入到网络模型ours中，网络模型ours给出识别结果和可信度α，如果α≥α0则认为模型识别结果可信，直接输出检测结果，其中，α0为人工设定的经验值，相反地，如果α＜α0则认为网络识别错误，需要进入下一阶段基于经典图像处理方法完成检测来重新检测；

15、步骤s6:经典图像处理

16、采用中值滤波方式来平滑图像；再采用直方图均衡化方法，调整原始图像像素的分布，使其更加均匀的分布在(0,255)区间范围内，从而增强图像的对比度；

17、步骤s7:图像二值化

18、将经过步骤s6处理后的图像转为灰度图，然后将灰度图通过自适应阈值法进行二值化，按图像的灰度特性将图像分为前景和背景两部分，把图像中不感兴趣的区域遮掉；

19、步骤s8:边缘提取

20、对步骤s7二值化图像进行形态学开闭运算，分割出独立的图像元素，然后采取基于canny算子的边缘检测方法，根据像素梯度初步得到目标的边缘，接着采用非极大值像素梯度抑制方法消除边缘检测带来的杂散响应，剔除掉大部分非边缘点，通过设置高低阈值将梯度强度高于高阈值的像素点定义为强边缘，低于低阈值的像素点不作为边缘点，处于两者之间的像素点再通过孤立弱边缘抑制方法进行判断，如果该像素点的领域像素中存在强边缘像点，则判定该点为强像素点，直到获取物体的边缘。

21、步骤s9:mark点识别

22、首先根据步骤s8得到的物体的边缘实现物体轮廓提取，检索所有的轮廓并重构嵌套轮廓的整个层次，然后根据物体轮廓的坐标得到物体的外接矩形，通过轮廓外接矩形的横纵比来判断该轮廓是否为圆形，得到所有的圆后再根据圆的面积进行筛选，得到最终的mark点，如果检测出了mark点，则直接输出圆心坐标并与正常元器件mark点信息进行匹配，输出检测结果；如果没有识别到mark点，则需要进入下一步骤文字区域提取。

23、步骤s10:文字区域提取

24、首先是提取文本行所在的轮廓，获取文本行轮廓最小外接矩形并在原图标记检测矩形框，矩形框区域就是roi部分，将roi部分作为前景与背景进行分割；然后对roi部分进行像素取反操作，变成白底黑字形式；再将处理后的特征图片通过形态学变换和最大连通区域操作以加强字符前景相对于噪声背景的对比度，突出字符边缘轮廓；计算操作后非水平字符的最小边框的旋转角度，再将图片进行旋转和裁剪，保证文字部分水平且位于图像中；最后，利用tesseract-ocr中的image_to_string模块识别pcb图像元器件的字符信息，给出识别结果。

25、步骤s11:字符匹配

26、经过步骤s9和步骤s10，获得待识别元器件上的字符信息和坐标信息，通过对比待识别元器件与标准元器件的分类、字符和坐标信息，判断元器件是否存在缺陷。

27、本发明还包括了基于上述机器视觉的一种pcb板元器件缺陷检测方法的缺陷检测系统、设备和介质，具体是：

28、一种pcb板元器件缺陷检测系统，应用在pcb板元器件质量检测中，实现上述基于机器视觉的pcb板元器件缺陷检测方法，包括用于执行所述方法中各个步骤的处理指令模块。

29、一种pcb板元器件缺陷检测设备，包括：

30、存储器：存储所述的基于机器视觉的pcb板元器件缺陷检测方法的计算机程序，为计算机可读取的设备；

31、处理器：用于执行所述计算机程序时实现所述基于机器视觉的pcb板元器件缺陷检测方法。

32、计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时能够实现所述的基于机器视觉的pcb板元器件缺陷检测方法。

33、相较于现有技术，本发明的技术优势在于：

34、1.本发明步骤s3的深度学习模型是卷积神经网络和视觉transformer的高效结合，实现全局信息和局部信息学习，设计了卷积模块去提取纹理、边缘、形状等局部特征，设计了视觉自编码器模块去提取图像的全局特征，让模型关注图像中的关键区域，并且通过序列与图像相互转换方法完成两条支路之间的信息交互，实现了多特征融合，提高了模型的表达能力。

35、2.本发明所提出的深度学习模型采用了大量的深度可分离卷积来代替标准卷积，与标准卷积相比，深度可分离卷积没有通道方向上的点乘操作，减少了模型参数量；采用了稀疏注意力机制，将图片划分为不同的组别，在各个组别之间完成自注意力计算，极大的减小了计算量，提高了模型推理速度，具有模型的参数量更少，模型推理速度更快的特点。

36、3.本方法通过结合深度学习方法和经典图像处理方法，分阶段地检测pcb图像中元器件的缺陷，实现更加智能、更加柔性的缺陷检测，可以达到较高的检测准确率；与传统判别方法和其他的检测算法相比，本方法得出检测结果的速度最快，花费的时间最少。

37、4.本发明步骤s5-s10,对pcb板元器件的焊接过程进行了机理分析，得出了不同种类元器件和不同类型缺陷的图像特点，根据这些特点设定了不同的判别指标，通过设立严格的指标范围来实现精确判别，检查结果一致性好、可靠度高。

38、综上所述，本发明利用深度学习模型和基于opencv的经典图像处理方法分阶段地处理图像数据，实现pcb板元器件的缺陷检测，解决人工检测带来的检测效率低、检测精度差等问题，可以在无接触检测的条件下，完成高效率高速度的实时检测。