金手指质量检测方法、装置、设备及介质与流程

本技术涉及到金手指质量检测，具体而言，涉及到一种金手指质量检测方法、装置、设备及介质。

背景技术：

1、金手指(gold finger)作为pcba的重要组成部分，其质量直接影响到电气设备的可靠性和性能，继而影响出货率和企业利益，因此制造商对于金手指质量检查的要求常严格。依赖于人工视检显然不符合经济效益，近年来，随着计算机软硬件迅速发展，市场上出现了若干基于传统视觉和深度学习的检测方法，然而这些方法往往存在几个弊端，其主要与金手指质量检测场景中的以下几点局限性有关：1.金手指的生产良品率普遍很高，缺陷样本非常稀缺，而传统机器视觉算法以及基于有监督学习的神经网络一般需要大规模且多样化的缺陷样本才能达到较好的缺陷检测表现，等待缺陷样本的积累不易实现。2.金手指的缺陷样类较多，如污渍、氧化、缺口、划伤、磨损、残胶、飞溅等，且因各家制造商工艺各异，并没有统一的缺陷标准。缺陷特征的多样性，加剧了有监督学习的神经网络样本稀少的痛点，不符合经济效益。而对于传统视觉算法，由于特征提取手段和特征维度有限，缺陷多样性会削弱算法泛化性、迁移性，导致其性能不稳定，从而加剧调试成本。3.不同的金手指外观各异，现有多数基于无监督学习的神经网络，普遍不具备泛化性，即单模型无法有效适配不同型号的金手指缺陷检测任务，这些方法的主要缺点如下：a.基于重建的模型(generative model)：这类模型主要在训练阶段学习如何将带有正样本或质量较差的样本重建、还原出标准的负样本。然而，这类模型的重建能力受限于其训练集的图像形态和模型容量。因此在多样化的场景下，容易出现重建错误而导致误检。此外，对于细微或复杂的缺陷，这类模型的重建能力更为有限。b.基于记忆池的模型(memory bank)：这类模型依赖于储存在内存的样本特征，然这些样本特征一般需要占据量的内存空间，不符合轻量化部署的场景，若缩减记忆池规模又会导致检测性能下降，陷两难境地。c.基于教师－学生模型(teacher-student model)：这类模型主要依赖教师模型和学生模型的知识差异进行异常判断，但由于知识蒸馏过程中存在信息丢失，教师模型和学生模型的输出特征空间存在一定误差，使其特征归纳能力难以泛化至训练数据集范畴之外，因此容易受到干扰而造成误判。4.现有的金手指缺陷检测方法普遍缺乏参照比对环节，因此无法有效地在图像层面上对缺陷的严重程度或金手指的质量进行具备统计意义的量化。

2、因此，现有技术中如何基于当前高复杂度的检测场景，提高金手指质量检查过程中的检测能力和效率的问题亟待解决。

技术实现思路

1、本技术的主要目的为提供一种金手指质量检测方法，旨在解决如何基于当前高复杂度的检测场景，提高金手指质量检查过程中的检测能力和效率的技术问题。

2、本技术的第一方面提出一种金手指质量检测方法，包括：

3、构建包含卷积神经网络为骨干网络以及包含通道自注意模块的孪生神经网络模型；

4、获取无缺陷的负样本集和有缺陷的正样本的图像数据；

5、基于多样类的负样本集输入模型，对通道自注意力模块进行训练；

6、用训练好的孪生神经网络模型对待检测金手指图像进行缺陷检测，获得检测输出结果；

7、基于检测输出结果，计算图像的缺陷置信度，并对缺陷区域进行定位和标记。

8、进一步地，所述基于多样类的负样本集输入模型，对通道自注意力模块进行训练的步骤，包括：

9、将预设数量的同型号的金手指的负样本输入模型，获取对应的图像特征；

10、基于所述图像特征计算欧氏距离和余弦相似度；

11、基于所述欧氏距离和余弦相似度构建损失函数；

12、基于所述损失函数对所述通道自注意力模块进行训练。

13、进一步地，所述预设数量包括两个；所述基于所述欧氏距离和余弦相似度构建损失函数的步骤，包括：

14、利用如下公式构建所述损失函数：

15、

16、其中，其中y1和y2为图像特征；为α和β为两个损失的权重参数；表示取99.9％分位数；t代表矩阵转置。

17、进一步地，所述用训练好的孪生神经网络模型对待检测金手指图像进行缺陷检测，获得检测输出结果的步骤，包括：

18、基于训练好的孪生神经网络模型，将待检测金手指的图像数据输入模型；

19、通过模型的卷积神经网络层提取图像中的特征信息；

20、将提取的特征信息输入到通道自注意力模块，得到增强的特征信息；

21、基于增强的特征信息，通过模型的全连接层进行分类，得到待检测金手指图像的检测输出结果。

22、进一步地，所述基于检测输出结果，计算图像的缺陷置信度，并对缺陷区域进行定位和标记的步骤，包括：

23、根据检测输出结果，计算图像的缺陷置信度；

24、基于预设的阈值，判断待检测金手指是否存在缺陷；

25、若存在缺陷，对缺陷区域进行定位和标记，生成缺陷检测报告。

26、进一步地，所述根据检测输出结果，计算图像的缺陷置信度的步骤，包括：

27、识别所述检测输出结果中的缺陷区域；

28、针对所述缺陷区域，提取其对应的特征向量；

29、计算所述特征向量与无缺陷的负样本集的特征向量之间的距离和相异度；

30、基于距离和相异度信息，计算缺陷置信度的调和平均数或算术平均数，作为缺陷区域的置信度得分；

31、将所有缺陷区域的置信度得分进行平均，得到图像的缺陷置信度。

32、本技术的第二方面提出一种金手指质量检测装置，包括：

33、模型构建模块，用于构建包含卷积神经网络为骨干网络以及包含通道自注意模块的孪生神经网络模型；

34、样本获取模块，用于获取无缺陷的负样本集和有缺陷的正样本的图像数据；

35、训练模块，用于基于多样类的负样本集输入模型，对通道自注意力模块进行训练；

36、结果输出模块，用于用训练好的孪生神经网络模型对待检测金手指图像进行缺陷检测，获得检测输出结果；

37、置信度计算模块，用于基于检测输出结果，计算图像的缺陷置信度，并对缺陷区域进行定位和标记。

38、进一步地，所述训练模块，包括：

39、特征获取单元，用于将预设数量的同型号的金手指的负样本输入模型，获取对应的图像特征；

40、第一计算单元，用于基于所述图像特征计算欧氏距离和余弦相似度；

41、损失构建单元，用于基于所述欧氏距离和余弦相似度构建损失函数；

42、第一训练子单元用于基于所述损失函数对所述通道自注意力模块进行训练。

43、本技术的第三方面提出一种金手指质量检测设备，包括：

44、工业相机，用于拍摄金手指照片；

45、处理器；

46、存储器，用于存储计算机程序；

47、其中，所述处理器执行所述计算机程序时实现上述中任一项所述的金手指质量检测方法。

48、本技术的第四方面提出一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述中任一项所述的金手指质量检测方法。

49、有益效果：

50、本技术通过引入孪生神经网络模型和通道自注意力模块，能够聚焦于图像中更关键的信息，提取出区分缺陷与非缺陷的显著特征。这些特征对于模型来说足够具有代表性，使得模型在少量负样本的情况下也能进行有效的学习，采用多样类的负样本集对通道自注意力模块进行训练，正负样本的对比学习使得模型能够学习到缺陷特征与非缺陷特征之间的本质区别，而不仅仅是记忆特定的负样本。因此，即使负样本的数量有限，模型也能通过对比学习的方式，掌握足够的区分能力。提高检测的准确性。采用多样类的负样本集对通道自注意力模块进行训练，确保了模型对不同类型、不同程度缺陷的敏感性和鲁棒性，使模型能够准确地区分缺陷区域与非缺陷区域，提高了检测的精度和效率。