一种面板缺陷样本图像增强方法、系统、设备及存储介质与流程

本发明涉及样本数据增强，具体而言，涉及一种面板缺陷样本图像增强方法、系统、设备及存储介质。

背景技术：

1、随着工业面板生产的快速发展，自动化生产线已经成为很多工厂的主要生产方式。然而，由于设备老化、操作失误等原因，工业面板在生产过程中往往会出现各种缺陷，这些缺陷如果不能及时检测和处理，将会导致面板生产质量下降，甚至影响整个生产线的正常运行。

2、目前，面板缺陷目标检测常常采用自动缺陷分类系统(adc系统)进行缺陷检测。然而，adc系统前期需要收集面板缺陷样本进行深度学习模型的训练。由于，实际生产中面板缺陷样本的数量极度不均衡，对于面板样本数量较少的数据，容易使得深度学习模型对数据产生过拟合，从而大大降低了模型的泛化能力。

技术实现思路

1、为了解决现有面板缺陷样本图像不均衡，容易导致模型对数据产生过拟合，模型泛化能力低的问题，本发明实施例提供了一种面板缺陷样本图像增强方法、系统、设备及存储介质。

2、在第一方面，本发明实施例中提供一种面板缺陷样本图像增强方法，所述方法包括以下步骤：

3、获取面板背景图像以及面板缺陷图像，并且对面板背景图像以及面板缺陷图像进行像素处理，以得到面板背景像素图像以及面板缺陷像素图像；

4、对面板缺陷像素图像进轮廓提取处理，以得到面板缺陷轮廓图像；

5、构建空白背景图像，并且基于空白背景图像对面板缺陷轮廓图像进行图像变换处理，以得到面板缺陷变换图像；

6、对面板背景像素图像和面板缺陷变换图像进行图像融合处理，以得到面板缺陷样本图像。

7、于上述实施例中，本发明首先获取面板背景图像以及面板缺陷图像的背景像素和缺陷像素，并且在缺陷像素的基础上获取缺陷轮廓的轮廓像素，然后对轮廓像素进行位置变换，最后将位置变换之后的轮廓像素与背景像素进行融合，进而获取更多类型、数量的面板缺陷样本图像，能够确保融合边界无明显过渡痕迹，生成的面板缺陷样本图像和原始面板缺陷样本图像的相似度更高，解决了现有面板缺陷样本图像不均衡，容易导致模型对数据产生过拟合，模型泛化能力低的问题。

8、作为本技术一些可选实施方式，对面板背景图像以及面板缺陷图像进行像素处理，以得到面板背景像素图像以及面板缺陷像素图像的流程如下：

9、对面板背景图像进行图像灰度处理以及背景像素检测处理，以得到面板背景像素图像；

10、对面板缺陷图像进行图像灰度处理、图像二值化处理以及缺陷边缘像素检测处理，以得到面板缺陷像素图像。

11、于上述实施例中，本发明通过对面板背景图像以及面板缺陷图像进行像素处理，能够获取包含背景像素信息的面板背景像素图像以及包含缺陷像素信息的面板缺陷像素图像，便于后续进行图像融合。

12、作为本技术一些可选实施方式，所述所述图像变换处理包括图像位置变换处理、图像大小变换处理以及图像角度变换处理。

13、于上述实施例中，本发明通过对面板缺陷轮廓图像进行多类型的图像变换，能够增加生成的面板缺陷样本图像的多样性，扩充面板缺陷样本图像的数量。

14、作为本技术一些可选实施方式，构建空白背景图像，并且基于空白背景图像对面板缺陷轮廓图像进行图像位置变换处理的流程如下：

15、构建空白背景图像，并且将面板缺陷像素图像设置于空白背景图像表面，所述空白背景图像的尺寸与面板背景图像的尺寸相同；

16、从面板缺陷像素图像中选取图像中心点，并且基于图像中心点对空白背景图像表面的面板缺陷像素图像进行像素平移处理，以得到面板缺陷变换图像。

17、于上述实施例中，本发明通过构建空白背景图像，并且在空白背景图像的基础上对面板缺陷像素图像进行像素平移，能够使得面板缺陷像素图像实现相对于面板背景像素图像的像素平移。

18、作为本技术一些可选实施方式，构建空白背景图像，并且基于空白背景图像对面板缺陷轮廓图像进行图像大小变换处理的流程如下：

19、构建空白背景图像，并且将面板缺陷像素图像设置于空白背景图像表面，所述空白背景图像的尺寸与面板背景图像的尺寸相同；

20、采用双线性插值的方式对空白背景图像表面的面板缺陷像素图像进行图像放大处理，以得到面板缺陷变换图像；

21、采用降采样的方式对空白背景图像表面的面板缺陷像素图像进行图像缩小处理，以得到面板缺陷变换图像。

22、于上述实施例中，本发明通过构建空白背景图像，并且在空白背景图像的基础上对面板缺陷像素图像进行图像放大和图像缩小，能够改变像素之间的相对位置，能够使得面板缺陷像素图像实现相对于面板背景像素图像的图像放大、图像缩小。

23、作为本技术一些可选实施方式，构建空白背景图像，并且基于空白背景图像对面板缺陷轮廓图像进行图像角度变换处理的流程如下：

24、构建空白背景图像，并且将面板缺陷像素图像设置于空白背景图像表面，所述空白背景图像的尺寸与面板背景图像的尺寸相同；

25、从面板缺陷像素图像中选取图像中心点以及贯穿图像中心点的旋转参照线；

26、基于贯穿图像中心点的旋转参照线对空白背景图像表面的面板缺陷像素图像进行图像旋转处理，以得到面板缺陷变换图像。

27、于上述实施例中，本发明通过构建空白背景图像，并且在空白背景图像的基础上对面板缺陷像素图像进行图像旋转，能够改变缺陷相对角度，能够使得面板缺陷像素图像实现相对于面板背景像素图像的图像旋转。

28、作为本技术一些可选实施方式，对面板背景像素图像和面板缺陷变换图像进行图像融合处理，以得到面板缺陷样本图像的流程如下：

29、获取面板背景像素图像以及面板缺陷变换图像的图像原点，并且基于图像原点将面板背景像素图像以及面板缺陷变换图像进行图像匹配处理；

30、基于图像匹配处理之后的面板缺陷变换图像对图像匹配处理之后的面板背景像素图像进行像素替换处理，以得到面板缺陷样本图像。

31、于上述实施例中，本发明通过将图像匹配处理之后的面板缺陷变换图像对图像匹配处理之后的面板背景像素图像进行融合，进而获取更多类型、数量的面板缺陷样本图像，能够确保融合边界无明显过渡痕迹，生成的面板缺陷样本图像和原始面板缺陷样本图像的相似度更高。

32、在第二方面，本发明提供一种面板缺陷样本图像增强系统，所述系统的功能与所述方法步骤对应，所述系统包括：

33、像素获取单元，所述像素获取单元用于获取面板背景图像以及面板缺陷图像，并且对面板背景图像以及面板缺陷图像进行像素处理，以得到面板背景像素图像以及面板缺陷像素图像；

34、轮廓提取单元，所述轮廓提取单元用于对面板缺陷像素图像进轮廓提取处理，以得到面板缺陷轮廓图像；

35、图像变换单元，所述图像变换单元用于构建空白背景图像，并且基于空白背景图像对面板缺陷轮廓图像进行图像变换处理，以得到面板缺陷变换图像；

36、图像融合单元，所述图像融合单元用于对面板背景像素图像和面板缺陷变换图像进行图像融合处理，以得到面板缺陷样本图像。

37、在第三方面，本发明提供一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述一种面板缺陷样本图像增强方法。

38、在第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述一种面板缺陷样本图像增强方法。

39、本发明的有益效果如下：本发明首先获取面板背景图像以及面板缺陷图像的背景像素和缺陷像素，并且在缺陷像素的基础上获取缺陷轮廓的轮廓像素，然后对轮廓像素进行位置变换，最后将位置变换之后的轮廓像素与背景像素进行融合，进而获取更多类型、数量的面板缺陷样本图像，能够确保融合边界无明显过渡痕迹，生成的面板缺陷样本图像和原始面板缺陷样本图像的相似度更高，解决了现有面板缺陷样本图像不均衡，容易导致模型对数据产生过拟合，模型泛化能力低的问题。