基于图像识别的电路板焊接不良检测方法及系统与流程

本发明涉及图像识别，尤其涉及一种基于图像识别的电路板焊接不良检测方法及系统。

背景技术：

1、随着电子制造业的快速发展，电路板的生产和应用日益广泛。电路板焊接质量直接关系到电子产品的性能和可靠性。然而，传统的焊接不良检测方法无法完全满足现代电子制造的高效率和高精度要求。近年来，深度学习和图像识别技术的迅猛发展，为自动检测提供了新的解决方案；

2、cn202310499957.4，公开了一种用于焊接图像的目标检测方法，其中，方法包括：获取焊接图像样本集，对所述焊接图像样本集进行标注处理，得到标注处理图像集；其中，所述标注处理图像集包括：焊接图像和标注信息；针对所述标注处理图像集，通过多尺度滑动式重叠裁剪获得处理数据集和裁剪信息；根据所述处理数据集以及基于目标检测模型的焊接目标检测模型，得到所述处理数据集对应的处理焊接目标检测结果；根据所述处理焊接目标检测结果和所述裁剪信息，得到焊接目标检测结果，能够有效提高模型的性能，尤其是对于尺寸较小的缺陷，提升效果显著；

3、综上所述，在现有技术中手工检查效率低下且主观性强，而x射线检测虽准确但成本高、操作复杂，本发明的应用至少能够解决现有技术的部分问题。

技术实现思路

1、本发明实施例提供一种基于图像识别的电路板焊接不良检测方法及系统，至少能够解决现有技术中部分问题。

2、本发明实施例的第一方面，

3、提供一种基于图像识别的电路板焊接不良检测方法，包括：

4、收集电路板的焊接区域图像，使用边缘检测算子，计算所述焊接区域图像中每个像素点的梯度幅度和梯度方向，基于相邻的所述像素点之间的梯度幅度差异和梯度方向差异，计算边缘权重，确定边缘连贯性评估值，基于所述边缘连贯性评估值，提取焊接区域边缘，得到边缘增强图；

5、基于预先设置的单元配置，结合跳跃连接，构建残差单元，将所述残差单元按照由浅入深的顺序进行堆叠，同时在所述残差单元之间设置维度匹配层，构建不良检测网络；

6、将所述边缘增强图输入训练完成的所述不良检测网络，确定焊接不良类型，其中所述不良检测网络的训练包括基于所述边缘增强图，确定不良标签，构建训练图集，将所述训练图集输入所述不良检测网络，通过计算损失函数的值，确定准确率，经过迭代学习训练，使所述损失函数的值最小化，完成所述不良检测网络训练。

7、在一种可选的实施例中，

8、使用边缘检测算子，计算所述焊接区域图像中每个像素点的梯度幅度和梯度方向，基于相邻的所述像素点之间的梯度幅度差异和梯度方向差异，计算边缘权重，确定边缘连贯性评估值包括：

9、基于所述焊接区域图像的分辨率和细节特征，确定高斯核和标准差，对所述焊接区域图像进行卷积操作，去除图像噪声，获得平滑图像；

10、使用边缘检测算子在水平方向和垂直方向上计算梯度，获得所述平滑图像中每个像素点的梯度幅度和梯度方向；

11、以所述平滑图像中的每个像素点为顶点，所述像素点之间关联关系为边缘，同时根据所述像素点的梯度幅度和梯度方向，确定所述边缘对应的边缘权重，构建加权无向图；

12、基于所述加权无向图中的任意所述顶点，确定与所述顶点相关联的所有边缘的边缘权重，计算所述边缘权重的均值，确定所述顶点的边缘连贯性评估值。

13、在一种可选的实施例中，

14、所述边缘连贯性评估值的计算方法包括：

15、确定两个顶点之间边缘权重，其公式如下：

16、；

17、其中， i表示顶点， j表示另一个顶点， w ij表示顶点 i和顶点 j之间的边缘权重，exp表示指数函数，δ θ ij表示顶点 i和顶点 j之间梯度方向差异， σ1表示控制梯度方向差异影响的方向尺度参数， g i表示顶点 i的梯度幅度， g j表示顶点 j的梯度幅度， σ2表示控制梯度幅度差异影响的幅度尺度参数；

18、计算所述边缘权重的均值，确定所述顶点的边缘连贯性评估值，其公式如下：

19、；

20、其中， c i表示针对顶点 i的边缘连贯性评估值， n i表示与顶点 i相邻的所有顶点总数。

21、在一种可选的实施例中，

22、基于预先设置的单元配置，结合跳跃连接，构建残差单元，将所述残差单元按照由浅入深的顺序进行堆叠，同时在所述残差单元之间设置维度匹配层，构建不良检测网络包括：

23、所述单元配置包括每个所述残差单元中卷积层数量、激活层数量，以及残差单元总数；

24、所述残差单元中的卷积层由深度卷积和逐点卷积组成；

25、基于输入的所述边缘增强图对应的每一个通道，所述深度卷积在单一通道上滑动卷积核，进行卷积操作，提取通道特征图；

26、所述逐点卷积应用单元点卷积核对所述通道特征图进行融合操作，获得融合特征图；

27、通过基于1×1卷积操作构建的维度匹配层，将所述残差单元匹配堆叠，构建不良检测网络。

28、在一种可选的实施例中，

29、还包括：

30、在所述残差单元匹配堆叠后，设置全局平均池化层，进行平均池化操作，再经过全连接层，将池化后的特征向量映射到与焊接不良类型数量相等的输出节点上，使用softmax激活函数处理所述全连接层的输出，得到与所述焊接不良类型匹配的各类型概率。

31、在一种可选的实施例中，

32、基于所述边缘增强图，确定不良标签，构建训练图集，将所述训练图集输入所述不良检测网络，通过计算损失函数的值，确定准确率，经过迭代学习训练，使所述损失函数的值最小化，完成所述不良检测网络训练包括：

33、基于焊接不良类型，对所述边缘增强图设置不良标签，确定训练图集；

34、基于交叉熵损失函数构建不良检测损失函数，根据所述不良检测损失函数的值，确定所述焊接不良类型的概率分布与所述不良标签的差异，设置差异评估，确定准确率；

35、结合预设的迭代学习率，通过反向传播，调整所述不良检测损失函数中的超参数，使所述不良检测损失函数的值逐步减小，直到达到预设的迭代总次数，确定所述不良检测损失函数，完成所述不良检测网络训练；

36、如果在连续迭代后，所述不良检测损失函数的值减小幅度，小于预设的迭代变化阈值，提前结束迭代，完成所述不良检测网络训练；

37、在一种可选的实施例中，

38、结合预设的迭代学习率，通过反向传播，调整所述不良检测损失函数中的超参数包括：

39、所述迭代学习率采用动态学习率调整方式；

40、设置学习率最大值和学习率最小值，在每次迭代后，基于余弦函数，调整学习率，其公式如下：

41、；

42、其中， lr表示当前学习率， lrmin表示学习率最小值， lrmax表示学习率最大值， t表示第 t次迭代， t表示预设的迭代次数。

43、本发明实施例的第二方面，

44、提供一种基于图像识别的电路板焊接不良检测系统，包括：

45、第一单元，用于收集电路板的焊接区域图像，使用边缘检测算子，计算所述焊接区域图像中每个像素点的梯度幅度和梯度方向，基于相邻的所述像素点之间的梯度幅度差异和梯度方向差异，计算边缘权重，确定边缘连贯性评估值，基于所述边缘连贯性评估值，提取焊接区域边缘，得到边缘增强图；

46、第二单元，用于基于预先设置的单元配置，结合跳跃连接，构建残差单元，将所述残差单元按照由浅入深的顺序进行堆叠，同时在所述残差单元之间设置维度匹配层，构建不良检测网络；

47、第三单元，用于将所述边缘增强图输入训练完成的所述不良检测网络，确定焊接不良类型，其中所述不良检测网络的训练包括基于所述边缘增强图，确定不良标签，构建训练图集，将所述训练图集输入所述不良检测网络，通过计算损失函数的值，确定准确率，经过迭代学习训练，使所述损失函数的值最小化，完成所述不良检测网络训练。

48、本发明实施例的第三方面，

49、提供一种电子设备，包括：

50、处理器；

51、用于存储处理器可执行指令的存储器；

52、其中，所述处理器被配置为调用所述存储器存储的指令，以执行前述所述的方法。

53、本发明实施例的第四方面，

54、提供一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现前述所述的方法。

55、本发明实施例中，通过非极大值抑制过程，进一步细化边缘，抑制非边缘点，使得焊接不良区域的边缘更加突出和清晰，便于双阈值检测步骤准确识别真实边缘；通过将图像转化为加权无向图，并计算像素点之间的梯度方向差异和梯度幅值差异作为边的权重，可以更准确地反映图像中各个部分的连接强度，能够更细致地捕捉到图像的边缘特征，提高边缘识别的精度；基于残差网络的核心概念，设计的模型通过引入跳跃连接，有效地解决深层网络训练中的梯度消失问题，使得模型能够学习到更深层次的特征，提高焊接不良识别和分类的准确性；针对边缘检测结果的特点，通过调整卷积层滤波器的数量和尺寸，使模型能够更好地捕获焊接区域细微的特征变化，进一步提高识别的准确率；通过将标准卷积层替换为深度可分离卷积，显著减少模型的参数数量，深度卷积仅对每个输入通道进行卷积操作，而逐点卷积用于组合特征，与传统卷积相比，需要的参数更少，除了减少参数外，深度可分离卷积还能显著降低模型的计算复杂度，使模型更加轻量，运行速度更快；在训练的后期，较小的学习率使模型能够在参数空间中进行更细致的搜索，提高了找到好的局部最优解的可能性，余弦动态学习率调度通过在不同的周期内探索不同的参数空间区域，有助于提高模型的泛化能力。