一种多层屏幕盖板玻璃夹层异物检测装置及检测方法

本发明涉及图像处理领域，特别涉及一种多层屏幕盖板玻璃夹层异物检测装置及检测方法。

背景技术：

1、电子屏幕在各种电子设备和显示技术中广泛应用，可显示图像、视频和文字，为用户提供信息展示、交互和可视化功能。目前，电子屏幕制造商采用先进的全贴合技术，在显示模组组装过程中，使用光学胶（oca，optically clear adhesive）在真空环境中将盖板玻璃和液晶显示模组(liquid crystal display module，lcdm)完全无缝地粘合在一起。

2、通过将盖板玻璃和液晶屏贴合在一起，可以起到保护液晶屏的作用。贴合操作中，由于控制不完善以及oca材质等因素，盖板玻璃（cg）组件中的oca层可能会出现沾污、气泡、碎屑或其它异物，这些异物定义为制程异物；除此之外cg组件中还会包含外来异物，但随着贴合过程中oca重离型保护膜和cg保护膜的撕除，外来异物将会去除，而oca层包含的制程异物不仅会导致电子屏幕的不均匀亮度或视觉失真，还可能导致触摸失灵或产生不良的触感反馈。如果无法在显示模组贴合操作中及时检测和排除具有制程异物的异常cg组件，将会降低显示模组装配线的良品率并增加生产成本。

3、目前，超过80%以上的屏幕制造商仍依赖人工目检，产品线上的质检工人数量超过350万人。质检员主要通过显微镜观察cg组件不同厚度层级的异物，并根据经验或光学卡尺检测和确定面积大于特定尺寸（如60×60μm2 或100×100 μm2）的颗粒为异物。该方法容易受到环境和人眼疲劳等因素的影响，并且存在主观性强、效率低等问题。

4、现有的屏幕缺陷检测方法大致分为传统图像处理方法和基于深度学习的方法。传统图像处理方法包括傅里叶变换、滤波技术和回归诊断等，传统方法对噪声和光照敏感，深度学习方法尽管具有高效的特征提取和缺陷识别能力，但依然面临着数据量需求大、训练时间长和对数据标注依赖性强等问题。

5、当前大多数的研究和技术应用都集中在检测屏幕表面或cg组件表面的外来异物，机器视觉方法检测cg组件内部异物的方法相对罕见，目前针对cg组件内部异物检测方法有以下几种：

6、1、基于机器视觉的oca膜气泡检测方法。该方法通过获取oca膜贴合时的图像的灰度变化，结合气泡的形状不规则性来检测气泡边缘像素点，再根据反光区域与气泡区域的不同特征，准确提取出气泡区域，消除反光区域的干扰，提高了最终气泡检测的准确性与可信度，但仅可用于检测oca膜气泡，无法对oca膜中其他异物进行检测。

7、2、基于机器视觉的cg组件异物的检测方法。该方法通过cg组件中每一层异物区域减去cg保护膜异物区域、以及cg保护膜表面、盖板玻璃夹层和重膜下表面各自的异物区域，得到oca夹层异物区域图像，最后再进行检测，其提高了盖板玻璃模块异物层次检测准确率，但没有对oca夹层中的弱对比度异物进行优化处理。

技术实现思路

1、为了解决上述技术问题，本发明提供一种结构简单、成本低的多层屏幕盖板玻璃夹层异物检测装置，并提供一种操作方便、检测准确率高的多层屏幕盖板玻璃夹层异物检测方法。

2、本发明解决上述技术问题的技术方案是：一种多层屏幕盖板玻璃夹层异物检测装置，包括支撑平台，支撑平台固定安装在支架中部，cg样品放置在支撑平台中间，所述支撑平台上方左右两侧对称设置两个镜头朝下设置的上相机，每个上相机镜头端均设置一个第一远心镜头，两个上相机均通过三轴运动装置安装在支架上部，所述支撑平台下方左右两侧对称设置两个镜头朝上设置的下相机，两个下相机镜头端均设置一个第二远心镜头，两个下相机安装在支架下部，两个第一远心镜头与支撑平台之间、两个第二远心镜头与支撑平台之间均设置一个同轴光源，四个同轴光源均安装在支架中部；同一侧的上相机、第一远心镜头、同轴光源、第二远心镜头、下相机位于同一竖直平面上。

3、上述多层屏幕盖板玻璃夹层异物检测装置，所述cg样品包括从上到下依次设置的cg保护膜、cg层、oca层、oca重离型保护膜，夹层异物包括外来异物和制程异物，其中外来异物位于cg保护膜外侧、oca重离型保护膜外侧，制程异物位于cg层与oca层之间、oca层与oca重离型保护膜之间。

4、上述多层屏幕盖板玻璃夹层异物检测装置，所述上相机和下相机均采用型号为ch310-10tm-m58s-nn的面阵cmos相机，第一远心镜头和第二远心镜头均采用型号为dtcm175-170-m58-a的大靶面双远心镜头。

5、一种多层屏幕盖板玻璃夹层异物检测方法，包括以下步骤：

6、步骤s1，图像获取：通过多层屏幕盖板玻璃夹层异物检测装置获取cg样品的多模式图像并选择主图像、从图像；

7、步骤s2，感兴趣区域提取：使用掩膜提取主图像的感兴趣区域，即roi图像；

8、步骤s3，特征增强：应用频率调谐显著性检测ft和haar小波变换增强roi图像，引入注意力机制对特征进行融合；

9、步骤s4，各向异性高斯滤波：自适应调整滤波器的参数进行增强后的roi图像滤波，以降低不同方向的噪声干扰，并在不同尺度上检测融合异物纹理；

10、步骤s5，边缘检测：使用canny检测算法定位滤波后roi图像的异物边缘；

11、步骤s6，异物筛选：利用从图像，使用快速背景重建和基于平均随机梯度下降的支持向量机相结合的方法实现对roi图像中夹层异物的筛选。

12、上述多层屏幕盖板玻璃夹层异物检测方法，所述步骤s1具体步骤为：

13、步骤s11：通过上相机、下相机组合打光的形式得到四种光源照射成像模式，从而采集到上相机上光源uu、上相机下光源ud、下相机上光源du和下相机下光源dd四种图像，并采用红光捕捉cg层中的瑕疵和划伤，以得到夹层异物清晰成像；

14、步骤s12：将ud图像定位为主图像，uu图像、dd图像定义为从图像，舍弃du图像，后续通过主图像、从图像相互配合实现夹层异物的分层筛选。

15、上述多层屏幕盖板玻璃夹层异物检测方法，所述步骤s2具体步骤为：

16、步骤s21：设置阈值，将主图像转换为灰度图像：

17、；

18、式中：iinv表示灰度图像的像素值，x、y分别表示像素点横坐标、纵坐标，表示主图像中坐标为的像素点的像素值；

19、步骤s22：选取灰度图像中面积最大的轮廓max_contour，得到掩膜mask如下：

20、；

21、式中：表示掩膜mask中坐标为的像素点的像素值；

22、步骤s23：将掩膜应用到灰度图像上，得到主图像的感兴趣区域，即roi图像：

23、；

24、式中：表示roi图像中坐标为的像素点的像素值，表示灰度图像中坐标为的像素点的像素值。

25、上述多层屏幕盖板玻璃夹层异物检测方法，所述步骤s3具体步骤为：

26、步骤s31：对roi图像进行haar小波分解，选择低频分量ill增强缺陷边缘；

27、；

28、其中：i表示主图像的像素灰度值，i=0，1；j=0，1；

29、步骤s32：使用频率调谐显著性检测算法增强roi图像；

30、首先将主图像转换到lab颜色空间，计算l通道的均值imean；然后计算l通道的i与imean的差值的绝对值，得到显著性图；最后将显著性图放入归一化公式中进行归一化处理；

31、；

32、式中：、分别表示显著性图中的像素最小值和最大值，表示归一化后的显著性图；

33、步骤s33：使用结合注意力机制后的特征融合公式，对不同区域进行特征选择和增强；

34、；

35、式中：表示haar小波低频图，f表示特征融合后的图像。

36、上述多层屏幕盖板玻璃夹层异物检测方法，所述步骤s4具体步骤为：

37、步骤s41：使用各向异性高斯滤波减弱噪声，使用如下公式对步骤s33中得到的特征融合后的图像在x轴、y轴方向进行扩展的高斯滤波；

38、；

39、式中：和分别为在x轴方向和y轴方向上的标准差；为高斯滤波后的像素点的值；

40、步骤s42：使用多尺度各向异性高斯滤波器对增强后的roi图像进行滤波处理，凸显增强后的roi图像异物纹理：

41、；

42、式中：表示各向异性高斯核，表示卷积操作；表示对应像素点滤波后的像素值。

43、上述多层屏幕盖板玻璃夹层异物检测方法，所述步骤s5具体步骤为：

44、步骤s51：对滤波后的roi图像应用canny边缘检测算法进行边缘提取与融合；

45、首先通过高斯平滑减少噪声的影响，然后通过计算滤波后的roi图像的梯度检测边缘，接着使用非极大值抑制去除假边缘，保留局部的极大值作为边缘线条，最后通过双边缘检测对边缘进行细化和筛选；

46、步骤s52：使用两步扫描法，标记滤波后的roi图像中的所有连通区域；

47、第一步扫描：遍历图像中的每一个像素点，从上到下、从左到右遍历图像，为每一个非零像素点赋予一个数字标签，0像素点的数字标签默认为数字0，从遍历顺序来看，当前像素点的上方邻域像素点和左侧邻域像素点均已被赋予了数字标签；

48、当前像素点的标签为非零数字时，有以下四种情况：

49、第一种情况：当前像素点的上方邻域像素点和左侧邻域像素点均为零，则赋予当前像素点一个新的数字标签，同时将这个新的数字标签记录下来；

50、第二种情况：当前像素点的上方邻域像素点为零，左侧邻域像素点不为零，则赋予当前像素点的数字标签与左侧邻域像素点的数字标签一致；

51、第三种情况：当前像素点的上方邻域像素点不为零，左侧邻域像素点为零，则赋予当前像素点的数字标签与上方邻域像素点的数字标签一致；

52、第四种情况：当前像素点的上方邻域像素点和左侧邻域像素点均不为零，则赋予当前像素点的数字标签为左侧邻域像素点的数字标签和上方邻域像素点的数字标签中的最小值；

53、第二步扫描：第一步扫描完成后一个像素点可能被赋予了一个或多个数字标签，进行第二步扫描，将拥有同一种数字标签的像素点记为一个连通域，将拥有多个数字标签的像素点和拥有与其数字标签相同的像素点都进行合并得到一个统一的数字标签，这个统一的数字标签为拥有的多个数字标签中的最小值，最后实现同一个连通域中的所有像素点的数字标签一致，所有非零像素点标记的区域就是滤波后的roi图像中的所有连通域，该所有连通域即为异物所在区域。

54、上述多层屏幕盖板玻璃夹层异物检测方法，所述步骤s6具体步骤为：

55、步骤s61：通过步骤s52获取到roi图像中异物所在区域后，通过从图像中背景区域和异物灰度值有差异的特点，定位包含异物的uu子图和dd子图；

56、步骤s62：获取uu子图和dd子图的掩膜，对uu子图和dd子图的掩膜中的异物部分进行膨胀操作；

57、步骤s63：将膨胀操作后的uu子图和uu图像、dd子图和dd图像进行逻辑或操作，并统计主图像和从图像的像素均值m；

58、步骤s64：将uu子图和dd子图内所有像素值设为m，重建uu子图和dd子图中异物部分背景灰度值和异物灰度值；

59、步骤s65：比较uu子图和dd子图中异物灰度值和异物部分背景灰度值的关系，其中异物灰度值均比背景灰度值小，比较规则如下：若uu子图和dd子图中异物灰度值与背景灰度值的差值均大于10像素值，则异物为cg异物，cg异物属于制程异物；若uu子图中异物灰度值与背景灰度值的差值小于或等于10像素值，且dd子图中异物灰度值与背景灰度值的差值大于10像素值，则异物为oca异物，oca异物属于制程异物；若uu子图中异物灰度值与背景灰度值的差值大于10像素值，且dd子图中异物灰度值与背景灰度值的差值小于或等于10像素值，则异物为膜上异物，膜上异物为外来异物；若uu子图和dd子图中异物灰度值与背景灰度值的差值均小于或等于10像素值，则认定为没有异物；采用基于平均随机梯度下降的支持向量机实现夹层异物的筛选。

60、本发明的有益效果在于：

61、1、本发明获取cg样品的多模式图像时，通过上相机、下相机组合打光的形式得到四种光源照射成像模式，从而采集到上相机上光源uu、上相机下光源ud、下相机上光源du和下相机下光源dd四种图像，能够实现不同空间不同光照条件下对cg样品进行高精度实时图像采集和异物空间对位标定。

62、2、本发明通过掩膜提取出感兴趣区域，能够减小计算量。

63、3、本发明应用频率调谐显著性检测ft和haar小波变换增强roi图像，并引入注意力机制对特征进行融合，从而增强微小、低对比度缺陷的显著性。

64、4、本发明采用各向异性高斯滤波来降低噪声的影响，通过自适应调整滤波器的参数，以保留重要的边缘信息并抑制干扰。

65、5、本发明采用canny检测算法来准确定位缺陷边缘，保证边缘完整性的同时减少虚假边缘的产生。