一种小样本芯片外观缺陷检测方法及系统

本发明涉及一种芯片外观缺陷检测方法及系统，尤其是小样本芯片外观缺陷检测方法及系统。

背景技术：

1、在封装芯片之后，需要对芯片进行外观缺陷检测，这是芯片质量检测中重要的一环。芯片外观缺陷检测主要方法有人工检测和基于传统机器视觉的芯片外观缺陷检测。人工检测存在检测精度低、实时性差、效率低、检测成本高等问题，且易受人的主观因素影响，导致检测结果误差大；而基于传统机器视觉的芯片缺陷检测主要是通过图像算法来提取芯片的缺陷特征，再通过各种特征的数值来区分和识别缺陷，这种方法虽然不需要采集大量的图片，但在检测过程中仍需人工分析起主导作用，因此不适用于复杂的缺陷检测。

2、现有技术提出了一种基于深度学习的方法，即通过输入大量人为标记过的图像数据，利用深度卷积神经网络强大的图像特征提取能力，对各种芯片的表面缺陷特征进行学习，使深度卷积神经网络记住不同种类芯片表面缺陷的特征，并且能够识别复杂情况下的缺陷图片。

3、中国专利cn116051515a提出一种基于yolo的大视野半导体芯片外观缺陷检测方法，该方法首先获取大量大视野半导体芯片缺陷图像，对其进行多等分以生成多尺度子缺陷图像数据集，接着对该数据集进行缺陷标注和数据集划分，使用堆叠多尺度组卷积yolov5算法进行模型训练，最后将子缺陷图检测结果映射到大视野半导体芯片图像上，完成对大视野半导体芯片外观的缺陷检测。这种方法虽然有效提升芯片外观缺陷检测的准确性，但是其中制作数据集存在着数据需求量大的问题。

4、中国专利cn116228740a提出一种基于yolov5的小样本芯片外观缺陷检测方法及检测系统，利用原始数据集训练生成对抗网络以获得扩增数据集，利用扩增数据集训练引入cbam注意力机制模块的改进yolov5神经网络模型，获得缺陷检测模型，检测预处理好的图片，这种方法虽然解决了缺陷数据量过少容易导致网络模型容易过拟合的问题，但是其中的生成对抗网络模型存在着训练困难，生成器与判别器难以达到平衡的问题。

技术实现思路

1、发明目的：本发明的目的是提供一种适用于小样本训练、准度高的基于ca-yolov7的小样本芯片外观缺陷检测方法及系统。

2、技术方案：本发明所述的小样本芯片外观缺陷检测方法，包括如下步骤：

3、获取包含二维阵列排列的芯片的图片，作为原始数据集；

4、利用wgan-gp扩增原始数据集，得到扩增后数据集，所述扩增后数据集包含原始数据及和扩增数据集；

5、建立芯片外观缺陷检测模型，所述芯片外观缺陷检测模型为yolov7神经网络模型，其中嵌入了ca注意力机制；

6、利用训练好的芯片外观缺陷检测模型对芯片图片进行检测，输出存在缺陷的图片；

7、根据所述存在缺陷的图片位置，将对应的芯片进行激光标记，得到外观存在缺陷的芯片。

8、进一步地，所述利用wgan-gp扩增原始数据集，得到扩增后数据集，所述扩增后数据集包含原始数据及和扩增数据集包括：

9、wgan-gp包括判别器和生成器，生成器用于根据随机噪声生成图片g(z)，判别器用于判断样本是否为真实的图片；

10、将原始数据集中的图片和生成器生成的图片g(z)输入到判别器，对判别器和生成器进行优化，直至g(z)的分布趋近于真实图片；

11、生成器生成多张图片，得到扩增数据集。

12、进一步地，wgan-gp的目标损失函数为：

13、

14、其中e表示下标对应分布的期望，z为随机噪声，x为真实图片，μ是真实图片x的分布，γ是图片g(z)的分布，x为μ和γ以及两者之间的空间，d(*)为判别器判断该图片是否为真实图片的概率；为正则化中l2范数，λ表示正则化强度；

15、判别器的损失函数为：

16、

17、生成器的损失函数为：

18、mindv(d,g)＝-ez～γ[d(g(z))]。

19、进一步地，获取包含二维阵列排列的芯片的图片的方法包括：

20、将芯片放置在检测平台上，通过光源对芯片进行照明，通过运动控制系统控制检测平台伸缩、调整光源位置以及通过鼓风机控制吸气使芯片附着在检测平台上，通过图像采集设备获取包含二维阵列排列的芯片的图片。

21、进一步地，所述利用训练好的芯片外观缺陷检测模型对芯片图片进行检测，输出存在缺陷的图片包括：

22、对所述芯片图像进行预处理，利用训练好的芯片外观缺陷检测模型对预处理后的芯片图片进行检测；

23、所述预处理包括将图片灰度化、用高斯滤波器降噪、用canny算子进行边缘检测、利用校正倾斜图片。

24、进一步地，所述利用训练好的芯片外观缺陷检测模型对芯片图片进行检测，输出存在缺陷的图片包括：

25、采用弹性网络正则化的方法训练所述芯片外观缺陷检测模型。

26、进一步地，所述建立芯片外观缺陷检测模型，所述芯片外观缺陷检测模型为yolov7神经网络模型，其中嵌入了ca注意力机制包括：

27、在yolov7神经网络模型中c7_1的cbs模块的激活函数后插入ca注意力机制。

28、本发明所述的小样本芯片外观缺陷检测系统，包括：

29、原始数据集建立单元，用于获取包含二维阵列排列的芯片的图片，作为原始数据集；

30、扩充后数据集建立单元，用于利用wgan-gp扩增原始数据集，得到扩增后数据集，所述扩增后数据集包含原始数据及和扩增数据集；

31、检测模型建立单元，用于建立芯片外观缺陷检测模型，所述芯片外观缺陷检测模型为yolov7神经网络模型，其中嵌入了ca注意力机制；

32、检测单元，用于利用训练好的芯片外观缺陷检测模型对芯片图片进行检测，输出存在缺陷的图片；

33、标记单元，用于根据所述存在缺陷的图片位置，将对应的芯片进行激光标记，得到外观存在缺陷的芯片。

34、本发明所述的电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被加载至处理器时实现所述的小样本芯片外观缺陷检测方法。

35、本发明所述的计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述的小样本芯片外观缺陷检测方法。

36、有益效果：与现有技术相比，本发明的优点在于：1、本发明通过利用wgan-gp生成训练数据的方法扩充样本过少的原始数据集，更高效率获得精确的扩增数据集，实现小样本数据增强；2、本发明所使用的yolov7模型结构，具有检测精度高、训练更高效、推理速度快和目标检测效果好等特点，能够识别图片中缺陷的种类并且输出目标边界框的坐标，通过wgan-gp获得扩增后数据集，实现利用小样本训练ca-yolov7神经网络模型，从而实现小样本芯片外观缺陷的识别；3、通过弹性网络正则化对ca-yolov7神经网络进行训练，能够让网络更加关注待检测的目标，避免出现过拟合的现象，提高模型精度，以达到进一步提高检测效果的目的。