缺陷识别方法、缺陷识别模型的训练方法及装置与流程

本发明涉及显示以及半导体封装制造领域，特别是指一种缺陷识别方法、缺陷识别模型的训练方法及装置。

背景技术：

1、在覆晶薄膜(chip on flex，cof)封装产品生产过程中，基于深度学习的不良图像自动分类检测系统(auto detection classification，adc)需要大量的样本图像作为训练数据集，利用训练数据集训练缺陷识别模型。

2、训练数据集的样本分布和数据质量对缺陷识别模型整体效果有着很大的影响。相关技术中，工厂的自动光学检测(automated optical inspection，aoi)设备拍摄到的图像中，绝大部分为合格产品图像，不良品发生率很低，导致收集不合格样本图像的时间周期很长，对整个生产环节造成不利影响。

技术实现思路

1、本发明要解决的技术问题是提供一种缺陷识别方法、缺陷识别模型的训练方法及装置，能够提高获取不合格样本图像的效率，缩短获取不合格样本图像的时间，缩短模型训练时间。

2、为解决上述技术问题，本发明的实施例提供技术方案如下：

3、一方面，提供一种缺陷识别模型的训练方法，包括：

4、获取无缺陷的合格产品图像和存在缺陷区域的不合格产品图像；

5、对所述不合格产品图像进行图像分割，得到所述不合格产品图像中的缺陷区域；

6、将所述合格产品图像与分割出的所述缺陷区域进行图像融合，生成不合格样本图像；

7、利用所述不合格样本图像组成训练数据集，利用所述训练数据集进行模型训练得到缺陷识别模型，所述缺陷识别模型的输入为产品图像，输出为所述产品图像的判定结果，所述判定结果指示所述产品图像合格或不合格。

8、一些实施例中，所述缺陷识别模型的训练方法还包括：

9、选取预设比例的所述合格产品图像和所述不合格产品图像；

10、将选取的所述合格产品图像与所述不合格产品图像进行图像融合，生成所述不合格样本图像。

11、一些实施例中，所述对所述不合格产品图像进行图像分割包括：

12、利用标注有缺陷区域信息的不合格产品图像对图像分割模型进行训练，所述缺陷区域信息包括缺陷区域的位置信息和缺陷区域的类型，所述图像分割模型的输入为不合格产品图像，输出为缺陷区域；

13、利用训练后的所述图像分割模型对所述不合格产品图像进行图像分割，得到所述不合格产品图像的缺陷区域。

14、一些实施例中，所述缺陷识别模型的训练方法还包括获取所述不合格样本图像的缺陷区域信息，所述获取所述不合格样本图像的缺陷区域信息包括：

15、利用所述不合格产品图像标注的缺陷区域信息，确定所述不合格产品图像中缺陷区域的位置信息；

16、根据所述缺陷区域的位置信息、所述缺陷区域的尺寸和所述合格产品图像的尺寸，确定所述缺陷区域与所述合格产品图像的坐标位置关系；

17、根据所述缺陷区域与所述合格产品图像的坐标位置关系，确定所述不合格样本图像中缺陷区域的位置信息。

18、一些实施例中，所述将所述合格产品图像与分割出的所述缺陷区域进行图像融合包括：

19、将至少一个所述缺陷区域按照预设比例进行缩小或放大后，与所述合格产品图像进行图像融合，生成所述不合格样本图像。

20、一些实施例中，所述不合格产品图像为第一产品的图像，所述合格产品图像为第二产品的图像，所述第一产品与所述第二产品为不同类型的产品或不同的产品；

21、所述第一产品与所述第二产品的产品图像相似度大于预设阈值。

22、本发明的实施例还提供了一种缺陷识别模型的训练装置，包括：

23、获取模块，用于获取无缺陷的合格产品图像和存在缺陷区域的不合格不合格产品图像；

24、分割模块，用于对所述不合格产品图像进行图像分割，得到所述不合格产品图像中的缺陷区域；

25、融合模块，用于将所述合格产品图像与分割出的所述缺陷区域进行图像融合，生成不合格样本图像；

26、训练模块，用于利用所述不合格样本图像组成训练数据集，利用所述训练数据集进行模型训练得到缺陷识别模型，所述缺陷识别模型的输入为产品图像，输出为所述产品图像的判定结果，所述判定结果指示所述产品图像合格或不合格。

27、一些实施例中，所述缺陷识别模型的训练装置还包括：

28、选取模块，用于选取预设比例的所述合格产品图像和所述不合格产品图像；

29、所述融合模块还用于将选取的所述合格产品图像与所述不合格产品图像进行图像融合，生成所述不合格样本图像。

30、一些实施例中，所述分割模块具体用于利用标注有缺陷区域信息的不合格产品图像对图像分割模型进行训练，所述缺陷区域信息包括缺陷区域的位置信息和缺陷区域的类型，所述图像分割模型的输入为不合格产品图像，输出为缺陷区域；利用训练后的所述图像分割模型对所述不合格产品图像进行图像分割，得到所述不合格产品图像的缺陷区域。

31、一些实施例中，所述缺陷识别模型的训练装置还包括：

32、数据标注模块，用于获取所述不合格样本图像的缺陷区域信息，包括：利用所述不合格产品图像标注的缺陷区域信息，确定所述不合格产品图像中缺陷区域的位置信息；根据所述缺陷区域的位置信息、所述缺陷区域的尺寸和所述合格产品图像的尺寸，确定所述缺陷区域与所述合格产品图像的坐标位置关系；根据所述缺陷区域与所述合格产品图像的坐标位置关系，确定所述不合格样本图像中缺陷区域的位置信息。

33、一些实施例中，所述融合模块具体用于将至少一个所述缺陷区域按照预设比例进行缩小或放大后，与所述合格产品图像进行图像融合，生成所述不合格样本图像。

34、本发明的实施例还提供了一种缺陷识别方法，利用如上所述的缺陷识别模型的训练方法训练缺陷识别模型，并利用训练后的所述缺陷识别模型对产品图像进行处理，识别产品缺陷。

35、本发明的实施例还提供了一种电子设备，包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如上所述的方法的步骤。

36、本发明的实施例还提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如上所述的方法的步骤。

37、本发明的实施例还提供了一种计算机程序产品，包括计算机指令，该计算机指令被处理器执行时实现如上所述的方法的步骤。

38、本发明的实施例具有以下有益效果：

39、上述方案中，对不合格产品图像进行图像分割，得到不合格产品图像中的缺陷区域，将合格产品图像与分割出的缺陷区域进行图像融合，生成不合格样本图像，这样可以快速补足不合格样本图像，对发生率较低的缺陷类型和长尾分布明显的数据样本有很高的应用价值，本实施例能够提高获取不合格样本图像的效率，缩短获取不合格样本图像的时间，缩短模型训练时间，有利于工厂快速部署缺陷识别模型，提高生产效率。