一种生产线芯片爬胶高度在线监控方法和系统与流程

1.本发明涉及的是芯片生产测量领域,特别涉及一种生产线芯片爬胶高度在线监控方法和系统。


背景技术：

2.芯片生产过程中贴合时的爬胶高度是芯片质量高低的重要评判指标之一。根据一线生产工人的经验可知，芯片的爬胶高度可以由爬胶轮廓线与芯片底座边线的最大距离来确定，控制好适宜的爬胶高度对于芯片质量意义重大。传统的利用肉眼观察或者普通光学设备观察爬胶高度的方法存在费时费力的情况，目前已经不合时宜。基于人工智能的图像处理具有高精度、低延时的优点，可以将其应用于芯片爬胶高度的实时监测中，同时依靠监测结果实时调控机械臂进而控制适宜的爬胶高度。


技术实现要素：

3.鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种生产线芯片爬胶高度在线监控方法和系统。
4.为了解决上述技术问题，本技术实施例公开了如下技术方案：
5.一种生产线芯片爬胶高度在线监控方法，包括：
6.s100.爬胶图像捕捉单元采集同一时刻四个方向的爬胶图像，并传输至图像处理系统构建图像数据集；
7.s200.将图像数据集中每个方位每个采集时刻的图像进行图像预处理，得到预处理后的每个方位每个采集时刻的爬胶图像，将预处理后的每个方位每个采集时刻的爬胶图像进行人工标注，得到每个方位每个采集时刻对应的爬胶图像的硅胶边框；
8.s300.将s200预处理后的每个方位每个采集时刻爬胶图像作为训练集输入生成式对抗网络，将每个方位的图像对应的硅胶边框作为图像标签，进一步结合生成式对抗网络预测的硅胶边框构建生成式对抗网络的损失函数模型，进一步对网络优化训练后，得到生成式对抗网络；
9.s400.将待检测的图像输入优化后的生成式对抗网络得到预测硅胶边框；
10.s500.对由生成式对抗网络预测得到的硅胶区域预测框内的区域，由canny算子提取硅胶边界；
11.s600.计算经由canny算子提取的硅胶区域边界上任意两像素点间的距离，取距离为最大值的两像素点确定芯片侧面底边线的位置，计算此边界上任意两像素点间的距离，取最大值为芯片爬胶高度；
12.s700.比较爬胶高度与经验总结所得的该种芯片贴合时的爬胶高度极限值对比，若小于该极限值，则输出信号令芯片贴合机器的机械臂继续下压，贴合过程继续，同时若发现四边的爬胶高度出现倾斜现象，则输出信号及时调节机械臂方位使之对正；反之，则输出信号令芯片贴合机器的机械臂停止下压，贴合过程停止。
13.进一步的，s100中，图像数据集为：
14.picture
k,d
(i,j)
15.k∈[1,k],d∈[1,d],i∈[1,m],j∈[1,n]
[0016]
其中，picture
k,d
为第k个采集时刻第d个方位采集的图像，picture
k,d
(i,j)为第k个采集时刻第d个方位采集的图像上第i行第j列的像素，k＝1500为采集时刻的数量，d＝4为方位的数量，m＝1080为图像像素行的数量，n＝2160为图像像素列的数量。
[0017]
进一步的，s200中，图像预处理具体为：图像预处理系统对每个方位每个采集时刻的爬胶图像进行灰度化处理、平滑滤波；具体的，灰度化处理，即将每个方位每个采集时刻的爬胶图像转化为每个方位每个采集时刻的灰度图像；平滑滤波，即消除每个方位每个采集时刻的灰度图像中的干扰噪声，得到预处理后的每个方位每个采集时刻的爬胶图像。
[0018]
进一步的，s200中，预处理后的每个方位每个采集时刻的爬胶图像为：
[0019]
climbing-glue
k,d
(i,j)
[0020]
k∈[1,k],d∈[1,d],i∈[1,m],j∈[1,n]
[0021]
其中，climbing-glue
k,d
为第k个采集时刻第d个方位采集的图像，climbing-glue
k,d
(i,j)为第k个采集时刻第d个方位采集的灰度图像上第i行第j列的像素，k＝1500为采集时刻的数量，d＝4为方位的数量，m＝1080为图像像素行的数量，n＝2160为图像像素列的数量。
[0022]
进一步的，s200中，经由人工标注得到的每个方位每个采集时刻的爬胶图像对应的硅胶边框定义为：
[0023]
rg-gjbk
k,d
＝(rg-gjbk
k,d,l,b
,rg-gjbk
k,d,r,t
)
[0024]
rg-gjbk
k,d,l,b
＝(x
k,d,l,b
，y
k,d,l,b
)
[0025]
rg-gjbk
k,d,r,t
＝(x
k,d,r,t
，y
k,d,r,t
)
[0026]
k∈[1,k],d∈[1,d]
[0027]
其中，rg-gjbk
k,d
为第k个采集时刻第d个方位的人工标记硅胶边框线，k＝1500为采集时刻的数量，d＝4为方位的数量；rg-gjbk
k,d,l,b
为人工标记硅胶边框的左下角像素点，x
k,d,l,b
为人工标记硅胶边框的左下角像素点的横坐标，y
k,d,l,b
为人工标记硅胶边框的左下角像素点的纵坐标；rg-gjbk
k,d,r,t
为人工标记硅胶边框的右上角像素点，x
k,d,r,t
为人工标记硅胶边框的右上角像素点的横坐标，y
k,d,r,t
为人工标记硅胶边框的右上角像素点的纵坐标；人工标记硅胶边框是由左下角与右上角两像素点确定的矩形边框。
[0028]
进一步的，s300中，生成式对抗网络由生成器模块和判断器模块级联组成；其中，生成器模块由输入层、噪化层依次级联构成；具体的，输入层将第k个采集时刻的芯片爬胶图像即picture
k,d
(i,j)通过均值零化、方差归一化方法，将得到第k个采集时刻的标准化图像输出至噪化层；噪化层对标准化图像给予3
×
3区域内的像素进行3
×
3，步长取3的最大噪化运算，构成特征图(m4×
m4×
c4)；判别器模块由降噪层、softmax层级联构成；其中，降噪层对特征图(m4×
m4×
c4)进行横向、纵向叠加运算，在噪化图像中心位置3
×
3，步长取1的上采样，扩大图像维度，还原输入的特征对应的图像，3
×
3降噪核遍历整个输入特征图得到的所有输出值构成复原图img(m
×
m)；softmax层对输入的特征图的n个特征构建n
×
1的列向量矩阵，对各值网络输出指数运算后输出另一个n
×
1的矩阵，其中列向量各元素为softmax层判定所输入特征分属各类别的概率，从而获知是否是硅胶边界线和芯片侧面底边线的判定
值。
[0029]
进一步的，softmax层内的soft_max函数计算类别θ的概率值φ
θ
定义如下：
[0030][0031]
其中为要计算的类别θ的网络输出的指数，分母上为网络输出的所有类别的指数之和，一共α＝2个类别，α0指硅胶边框不存在，判定值为0，α1指硅胶边框存在，判定值为1；以此得到类别θ的概率值。
[0032]
进一步的，s300中，经由生成器生成的每个方位每个采集时刻的芯片爬胶图样对应的预测硅胶边框定义为：
[0033]
yc-gjbk
k,d
＝(yc-gjbk
k,d,l,b
,yc-gjbk
k,d,r,t
)
[0034]
yc-gjbk
k,d,l,b
＝(x
k,d,l,b
，y
k,d,l,b
)
[0035]
yc-gjbk
k,d,r,t
＝(x
k,d,r,t
，y
k,d,r,t
)
[0036]
k∈[1,k],d∈[1,d]
[0037]
其中，yc-gjbk
k,d
为第k个采集时刻第d个方位的预测硅胶边框线，k＝1500为采集时刻的数量，d＝4为方位的数量；yc-gjbk
k,d,l,b
为预测硅胶边框的左下角像素点，x
k,d,l,b
为预测硅胶边框的左下角像素点的横坐标，y
k,d,l,b
为预测硅胶边框的左下角像素点的纵坐标；yc-gjbk
k,d,r,t
为预测硅胶边框的右上角像素点，x
k,d,r,t
为预测硅胶边框的右上角像素点的横坐标，y
k,d,r,t
为预测硅胶边框的右上角像素点的纵坐标；预测硅胶边框是由左下角与右上角两像素点确定的矩形边框。
[0038]
进一步的，s300中，对抗神经网络损失函数模型的具体定义为：
[0039][0040]
其中，rg-gjbk
k,d
是第k个时刻第d个方位的爬胶图样对应的人工标记硅胶边框的标签，yc-gjbk
k,d
是第k个时刻第d个方位的爬胶图样对应的预测硅胶边框，φ
θ，c
为由soft_max函数计算出的样本空间中总共c个爬胶图像中硅胶边框样本中第c个图像为硅胶边界线图像的预测概率值，c为对抗神经网络训练集中硅胶边框样本的总数量，其中c∈[1，c]；如果loss的值小于0.5，则可以认为预测硅胶边框与实际的硅胶边框误差可以接受，即生成式对抗网络已经成功建立，后续只需要将实时拍摄的爬胶图样导入该网络即可得到所需硅胶边界线以及芯片侧面底边线；否，则认为损失函数过大，生成式对抗网络未建立成功，则需要重复步骤3的过程，直至loss的值小于0.5。
[0041]
进一步的，s300中，对网络优化训练得到优化后生成式对抗网络为：
[0042][0043]
利用生成式对抗网络训练集中爬胶图像作为训练元输入至生成式对抗网络，通过生成式对抗网络预测得到硅胶判定值tag存在与否，进一步结合神经网络数据集中硅胶边框的tag构建生成式对抗网络损失函数，通过优化训练直至生成式对抗网络损失函数达到nash均衡。
[0044]
进一步的，s400中，将实时拍摄的图像输入优化后的生成式对抗网络得到的硅胶预测边框定义为：
[0045]
gjbk
k,d
＝(gjbk
k,d,l,b
,gjbk
k,d,r,t
)
[0046]
gjbk
k,d,l,b
＝(x
k,d,l,b
，y
k,d,l,b
)
[0047]
gjbk
k,d,r,t
＝(x
k,d,r,t
，y
k,d,r,t
)
[0048]
k∈[1,k],d∈[1,d]
[0049]
其中，gjbk
k,d
为第k个采集时刻第d个方位的生成式对抗网络预测的硅胶边框，k＝1500为采集时刻的数量，d＝4为方位的数量；gjbk
k,d,l,b
为生成式对抗网络预测的硅胶边框的左下角像素点，x
k,d,l,b
为生成式对抗网络预测的硅胶边框的左下角像素点的横坐标，y
k,d,l,b
为生成式对抗网络预测的硅胶边框的左下角像素点的纵坐标；gjbk
k,d,r,t
为生成式对抗网络预测的硅胶边框的右上角像素点，x
k,d,r,t
为生成式对抗网络预测的硅胶边框的右上角像素点的横坐标，y
k,d,r,t
为生成式对抗网络预测的硅胶边框的右上角像素点的纵坐标；生成式对抗网络预测的硅胶边框是由左下角与右上角两像素点确定的矩形。
[0050]
进一步的，s500中，提取硅胶边界过程经由高斯滤波滤去图像中叠加的高频噪声、计算梯度图像与角度图像、对梯度图像进行非极大值抑制且使用双阈值进行边缘连接实现；具体的，高斯滤波滤去高频噪声过程定义为：
[0051][0052]
其中，x
k,d,i,j
为第k个捕捉时刻第d个方位的爬胶图像经由生成式对抗网络预测的边框内区域的第i行第j列像素点的横坐标，y
k,d,i,j
为第k个捕捉时刻第d个方位的爬胶图像经由生成式对抗网络预测的边框内区域第i行第j列的像素点的纵坐标；σ为正态分布值。
[0053]
进一步的，s600中，硅胶区域边界上任意两像素点间距离定义为：
[0054][0055]
其中，x
k,d,p,q
为第k个捕捉时刻第d个方位的爬胶图像硅胶区域边界上的第p行第q列像素点的横坐标,y
k,d,p,q
为第k个捕捉时刻第d个方位的爬胶图像硅胶区域边界上的第p行第q列像素点的纵坐标；x
k,d,m,n
为第k个捕捉时刻第d个方位的爬胶图像硅胶区域边界上的第m行第n列像素点的横坐标,y
k,d,m,n
为第k个捕捉时刻第d个方位的爬胶图像硅胶区域边界上的第m行第n列像素点的纵坐标；
[0056]
硅胶区域边界上任意两像素点间距离最大值定义为：
[0057][0058]
坐标为(x
k,d,p',q'
,y
k,d,p',q'
)和(x
k,d,m',n'
,y
k,d,m',n'
)的两像素点为芯片底面正方形的四个角点之二，即为芯片侧面底边线的两个端点。
[0059]
进一步的，s600中，芯片侧面底边线定义为：
[0060][0061]
s600中，硅胶区域边界上像素点到芯片侧面底边线的距离定义为：
[0062][0063]
s600中，芯片爬胶高度定义为：
[0064][0065]
其中，x
k,d,m,n
为第k个捕捉时刻第d个方位的爬胶图像硅胶区域边界上的第m行第n列像素点的横坐标,y
k,d,m,n
为第k个捕捉时刻第d个方位的爬胶图像硅胶区域边界上的第m行第n列像素点的纵坐标。
[0066]
本发明还刚看了一种生产线芯片芯片爬胶高度在线监控系统，包括：
[0067]
爬胶图像捕捉单元、图像处理单元和反馈控制单元；其中：
[0068]
爬胶图像捕捉单元，用于对芯片爬胶图像进行拍摄并且将图像传输给图像处理系统；
[0069]
图像处理单元，用于对芯片爬胶图像捕捉系统传输的爬胶图像进行处理，获取硅胶爬胶区域，计算爬胶高度并取最大值；
[0070]
反馈控制单元，用于通过比较爬胶高度与经验总结所得的该种芯片贴合时的爬胶高度极限值对比对芯片贴合机器的机械臂进行控制。
[0071]
本发明实施例提供的上述技术方案的有益效果至少包括：
[0072]
本发明提供的一种生产线芯片爬胶高度在线监控方法和系统，与传统的显微镜等光学仪器观测芯片爬胶高度相比，在方法上有本质区别。本发明利用现代信息技术手段，通过高速摄像机快速捕捉芯片贴合中的爬胶过程，更清晰、显著，实时性更强；图像处理系统采用的生成式对抗网络是一种人工智能，相比于一线工人人眼监控，具有更精确、不易疲劳的优点，有利于节省人力；并且图像处理系统能快速将爬胶高度与标准高度进行比对，不断输出反馈意见，控制芯片贴合的速度与结束时刻，有利于提高芯片的良品率，减少损耗，降低成本；同时处理速度极快，有助于加快芯片生产，撼动当前芯片短缺的困境。
[0073]
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
[0074]
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实
施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
[0075]
图1为本发明实施例1中，一种生产线芯片爬胶高度在线监控方法的流程图；
[0076]
图2为本发明实施例1中，一种生产线芯片爬胶高度在线监控方法的结构图。
具体实施方式
[0077]
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
[0078]
为了解决现有技术中存在的问题，本发明实施例提供一种生产线芯片爬胶高度在线监控方法和系统。
[0079]
实施例1
[0080]
本发明公开了一种生产线芯片爬胶高度在线监控方法，如同1，包括：
[0081]
s100.爬胶图像捕捉单元采集同一时刻四个方向的爬胶图像，并传输至图像处理系统构建图像数据集；
[0082]
在本实施例的s100中，图像数据集为：
[0083]
picture
k,d
(i,j)
[0084]
k∈[1,k],d∈[1,d],i∈[1,m],j∈[1,n]
[0085]
其中，picture
k,d
为第k个采集时刻第d个方位采集的图像，picture
k,d
(i,j)为第k个采集时刻第d个方位采集的图像上第i行第j列的像素，k＝1500为采集时刻的数量，d＝4为方位的数量，m＝1080为图像像素行的数量，n＝2160为图像像素列的数量。
[0086]
s200.将图像数据集中每个方位每个采集时刻的图像进行图像预处理，得到预处理后的每个方位每个采集时刻的爬胶图像，将预处理后的每个方位每个采集时刻的爬胶图像进行人工标注，得到每个方位每个采集时刻对应的爬胶图像的硅胶边框；
[0087]
在本实施例的s200中，图像预处理具体为：图像预处理系统对每个方位每个采集时刻的爬胶图像进行灰度化处理、平滑滤波；具体的，灰度化处理，即将每个方位每个采集时刻的爬胶图像转化为每个方位每个采集时刻的灰度图像；平滑滤波，即消除每个方位每个采集时刻的灰度图像中的干扰噪声，得到预处理后的每个方位每个采集时刻的爬胶图像。
[0088]
在本实施例中，预处理后的每个方位每个采集时刻的爬胶图像为：
[0089]
climbing-glue
k,d
(i,j)
[0090]
k∈[1,k],d∈[1,d],i∈[1,m],j∈[1,n]
[0091]
其中，climbing-glue
k,d
为第k个采集时刻第d个方位采集的图像，climbing-glue
k,d
(i,j)为第k个采集时刻第d个方位采集的灰度图像上第i行第j列的像素，k＝1500为采集时刻的数量，d＝4为方位的数量，m＝1080为图像像素行的数量，n＝2160为图像像素列的数量。
[0092]
在本实施例中，经由人工标注得到的每个方位每个采集时刻的爬胶图像对应的硅胶边框定义为：
[0093]
rg-gjbk
k,d
＝(rg-gjbk
k,d,l,b
,rg-gjbk
k,d,r,t
)
[0094]
rg-gjbk
k,d,l,b
＝(x
k,d,l,b
，y
k,d,l,b
)
[0095]
rg-gjbk
k,d,r,t
＝(x
k,d,r,t
，y
k,d,r,t
)
[0096]
k∈[1,k],d∈[1,d]
[0097]
其中，rg-gjbk
k,d
为第k个采集时刻第d个方位的人工标记硅胶边框线，k＝1500为采集时刻的数量，d＝4为方位的数量；rg-gjbk
k,d,l,b
为人工标记硅胶边框的左下角像素点，x
k,d,l,b
为人工标记硅胶边框的左下角像素点的横坐标，y
k,d,l,b
为人工标记硅胶边框的左下角像素点的纵坐标；rg-gjbk
k,d,r,t
为人工标记硅胶边框的右上角像素点，x
k,d,r,t
为人工标记硅胶边框的右上角像素点的横坐标，y
k,d,r,t
为人工标记硅胶边框的右上角像素点的纵坐标；人工标记硅胶边框是由左下角与右上角两像素点确定的矩形边框。
[0098]
s300.将s200预处理后的每个方位每个采集时刻爬胶图像作为训练集输入生成式对抗网络，将每个方位的图像对应的硅胶边框作为图像标签，进一步结合生成式对抗网络预测的硅胶边框构建生成式对抗网络的损失函数模型，进一步对网络优化训练后，得到生成式对抗网络；
[0099]
在本实施例中，生成式对抗网络由生成器模块和判断器模块级联组成；其中，生成器模块由输入层、噪化层依次级联构成；具体的，输入层将第k个采集时刻的芯片爬胶图像即picture
k,d
(i,j)通过均值零化、方差归一化方法，将得到第k个采集时刻的标准化图像输出至噪化层；噪化层对标准化图像给予3
×
3区域内的像素进行3
×
3，步长取3的最大噪化运算，构成特征图(m4×
m4×
c4)；判别器模块由降噪层、softmax层级联构成；其中，降噪层对特征图(m4×
m4×
c4)进行横向、纵向叠加运算，在噪化图像中心位置3
×
3，步长取1的上采样，扩大图像维度，还原输入的特征对应的图像，3
×
3降噪核遍历整个输入特征图得到的所有输出值构成复原图img(m
×
m)；softmax层对输入的特征图的n个特征构建n
×
1的列向量矩阵，对各值网络输出指数运算后输出另一个n
×
1的矩阵，其中列向量各元素为softmax层判定所输入特征分属各类别的概率，从而获知是否是硅胶边界线和芯片侧面底边线的判定值。
[0100]
在本实施例中，softmax层内的soft_max函数计算类别θ的概率值φ
θ
定义如下：
[0101][0102]
其中为要计算的类别θ的网络输出的指数，分母上为网络输出的所有类别的指数之和，一共α＝2个类别，α0指硅胶边框不存在，判定值为0，α1指硅胶边框存在，判定值为1；以此得到类别θ的概率值。
[0103]
在本实施例中，经由生成器生成的每个方位每个采集时刻的芯片爬胶图样对应的预测硅胶边框定义为：
[0104]
yc-gjbk
k,d
＝(yc-gjbk
k,d,l,b
,yc-gjbk
k,d,r,t
)
[0105]
yc-gjbk
k,d,l,b
＝(x
k,d,l,b
，y
k,d,l,b
)
[0106]
yc-gjbk
k,d,r,t
＝(x
k,d,r,t
，y
k,d,r,t
)
[0107]
k∈[1,k],d∈[1,d]
[0108]
其中，yc-gjbk
k,d
为第k个采集时刻第d个方位的预测硅胶边框线，k＝1500为采集时刻的数量，d＝4为方位的数量；yc-gjbk
k,d,l,b
为预测硅胶边框的左下角像素点，x
k,d,l,b
为
预测硅胶边框的左下角像素点的横坐标，y
k,d,l,b
为预测硅胶边框的左下角像素点的纵坐标；yc-gjbk
k,d,r,t
为预测硅胶边框的右上角像素点，x
k,d,r,t
为预测硅胶边框的右上角像素点的横坐标，y
k,d,r,t
为预测硅胶边框的右上角像素点的纵坐标；预测硅胶边框是由左下角与右上角两像素点确定的矩形边框。
[0109]
在本实施例中，对抗神经网络损失函数模型的具体定义为：
[0110][0111]
其中，rg-gjbk
k,d
是第k个时刻第d个方位的爬胶图样对应的人工标记硅胶边框的标签，yc-gjbk
k,d
是第k个时刻第d个方位的爬胶图样对应的预测硅胶边框，φ
θ，c
为由soft_max函数计算出的样本空间中总共c个爬胶图像中硅胶边框样本中第c个图像为硅胶边界线图像的预测概率值，c为对抗神经网络训练集中硅胶边框样本的总数量，其中c∈[1，c]；如果loss的值小于0.5，则可以认为预测硅胶边框与实际的硅胶边框误差可以接受，即生成式对抗网络已经成功建立，后续只需要将实时拍摄的爬胶图样导入该网络即可得到所需硅胶边界线以及芯片侧面底边线；否，则认为损失函数过大，生成式对抗网络未建立成功，则需要重复步骤3的过程，直至loss的值小于0.5。
[0112]
在本实施例中，对网络优化训练得到优化后生成式对抗网络为：
[0113][0114]
利用生成式对抗网络训练集中爬胶图像作为训练元输入至生成式对抗网络，通过生成式对抗网络预测得到硅胶判定值tag存在与否，进一步结合神经网络数据集中硅胶边框的tag构建生成式对抗网络损失函数，通过优化训练直至生成式对抗网络损失函数达到nash均衡。
[0115]
s400.将待检测的图像输入优化后的生成式对抗网络得到预测硅胶边框；在本实施例中，将实时拍摄的图像输入优化后的生成式对抗网络得到的硅胶预测边框定义为：
[0116]
gjbk
k,d
＝(gjbk
k,d
,l
,b
,gjbk
k,d
,r
,t
)
[0117]
gjbk
k,d,l,b
＝(x
k,d,l,b
，y
k,d,l,b
)
[0118]
gjbk
k,d,r,t
＝(x
k,d,r,t
，y
k,d,r,t
)
[0119]
k∈[1,k],d∈[1,d]
[0120]
其中，gjbk
k,d
为第k个采集时刻第d个方位的生成式对抗网络预测的硅胶边框，k＝1500为采集时刻的数量，d＝4为方位的数量；gjbk
k,d,l,b
为生成式对抗网络预测的硅胶边框的左下角像素点，x
k,d,l,b
为生成式对抗网络预测的硅胶边框的左下角像素点的横坐标，y
k,d,l,b
为生成式对抗网络预测的硅胶边框的左下角像素点的纵坐标；gjbk
k,d,r,t
为生成式对抗网络预测的硅胶边框的右上角像素点，x
k,d,r,t
为生成式对抗网络预测的硅胶边框的右上角像素点的横坐标，y
k,d,r,t
为生成式对抗网络预测的硅胶边框的右上角像素点的纵坐标；生成式对抗网络预测的硅胶边框是由左下角与右上角两像素点确定的矩形。
[0121]
s500.对由生成式对抗网络预测得到的硅胶区域预测框内的区域，由canny算子提取硅胶边界；在本实施例中，提取硅胶边界过程经由高斯滤波滤去图像中叠加的高频噪声、计算梯度图像与角度图像、对梯度图像进行非极大值抑制且使用双阈值进行边缘连接实
现；具体的，高斯滤波滤去高频噪声过程定义为：
[0122][0123]
其中，x
k,d,i,j
为第k个捕捉时刻第d个方位的爬胶图像经由生成式对抗网络预测的边框内区域的第i行第j列像素点的横坐标，y
k,d,i,j
为第k个捕捉时刻第d个方位的爬胶图像经由生成式对抗网络预测的边框内区域第i行第j列的像素点的纵坐标；σ为正态分布值。
[0124]
s600.计算经由canny算子提取的硅胶区域边界上任意两像素点间的距离，取距离为最大值的两像素点确定芯片侧面底边线的位置，计算此边界上任意两像素点间的距离，取最大值为芯片爬胶高度；
[0125]
在本实施例中，硅胶区域边界上任意两像素点间距离定义为：
[0126][0127]
其中，x
k,d,p,q
为第k个捕捉时刻第d个方位的爬胶图像硅胶区域边界上的第p行第q列像素点的横坐标,y
k,d,p,q
为第k个捕捉时刻第d个方位的爬胶图像硅胶区域边界上的第p行第q列像素点的纵坐标；x
k,d,m,n
为第k个捕捉时刻第d个方位的爬胶图像硅胶区域边界上的第m行第n列像素点的横坐标,y
k,d,m,n
为第k个捕捉时刻第d个方位的爬胶图像硅胶区域边界上的第m行第n列像素点的纵坐标；
[0128]
硅胶区域边界上任意两像素点间距离最大值定义为：
[0129][0130]
坐标为(x
k,d,p',q'
,y
k,d,p',q'
)和(x
k,d,m',n'
,y
k,d,m',n'
)的两像素点为芯片底面正方形的四个角点之二，即为芯片侧面底边线的两个端点。
[0131]
在本实施例中，芯片侧面底边线定义为：
[0132][0133]
硅胶区域边界上像素点到芯片侧面底边线的距离定义为：
[0134][0135]
芯片爬胶高度定义为：
[0136][0137][0138]
其中，x
k,d,m,n
为第k个捕捉时刻第d个方位的爬胶图像硅胶区域边界上的第m行第n列像素点的横坐标,y
k,d,m,n
为第k个捕捉时刻第d个方位的爬胶图像硅胶区域边界上的第m行第n列像素点的纵坐标。
[0139]
s700.比较爬胶高度与经验总结所得的该种芯片贴合时的爬胶高度极限值对比，若小于该极限值，则输出信号令芯片贴合机器的机械臂继续下压，贴合过程继续，同时若发现四边的爬胶高度出现倾斜现象，则输出信号及时调节机械臂方位使之对正；反之，则输出信号令芯片贴合机器的机械臂停止下压，贴合过程停止。
[0140]
在一些优选实施例中，对于不同种类的芯片，适宜的爬胶高度并不一致，需要手动输入需要监控的芯片对应的爬胶高度经验值以保证良品率。
[0141]
本实施例还公开了一种生产线芯片芯片爬胶高度在线监控系统，如图2，包括：爬胶图像捕捉单元、图像处理单元和反馈控制单元；其中：
[0142]
爬胶图像捕捉单元，用于对芯片爬胶图像进行拍摄并且将图像传输给图像处理系统；
[0143]
图像处理单元，用于对芯片爬胶图像捕捉系统传输的爬胶图像进行处理，获取硅胶爬胶区域，计算爬胶高度并取最大值；
[0144]
反馈控制单元，用于通过比较爬胶高度与经验总结所得的该种芯片贴合时的爬胶高度极限值对比对芯片贴合机器的机械臂进行控制。
[0145]
在一些优选实施例中，爬胶图像捕捉单元包含显微镜头与高速摄像机；
[0146]
显微镜头为行业标准光学显微镜头，旨在对待测芯片的微小的爬胶区域进行放大，便于高速摄像机捕捉爬胶图像；
[0147]
高速摄像机为行业标准之上的工业摄像机，选型为c13440-20cu，具有高帧率的特点，每个高速摄像机前适配1个显微镜头，显微镜头选型为komd0745；
[0148]
爬胶图像捕捉单元设置4个显微镜头和4个高速摄像机，每个高速摄像机前适配1个显微镜头，分别放置于芯片4个侧面垂直方向上，同时进行拍摄并将捕获的爬胶图像通过数据传输线传输至图像处理系统；
[0149]
在一些优选实施例中，图像处理单元包含图像预处理模块、生成式对抗网络和爬胶高度计算模块；
[0150]
图像预处理模块对爬胶图像捕捉系统传输的图像进行灰度化处理和平滑滤波；灰度化处理旨在降低图像亮度，减少生成式对抗网络处理图像的数据量；平滑滤波旨在利用几何变换以及二维傅里叶变换、平滑领域增强算法增加锐度，更正镜头放置位置、拍摄环境明亮度变化等原因造成的随机误差；
[0151]
生成式对抗网络对预处理后的爬胶图像进行处理，识别提取爬胶区域；
[0152]
爬胶高度计算模块对生成式对抗网络识别的爬胶区域，利用canny算子提取爬胶区域边界，计算爬胶高度。其中，爬胶图像捕捉单元、图像处理单元和反馈控制单元具体的
工作方法已在上述进行了详细描述，因此不在进行赘述。
[0153]
本实施例提供的一种生产线芯片爬胶高度在线监控方法和系统，与传统的显微镜等光学仪器观测芯片爬胶高度相比，在方法上有本质区别。本发明利用现代信息技术手段，通过高速摄像机快速捕捉芯片贴合中的爬胶过程，更清晰、显著，实时性更强；图像处理系统采用的生成式对抗网络是一种人工智能，相比于一线工人人眼监控，具有更精确、不易疲劳的优点，有利于节省人力；并且图像处理系统能快速将爬胶高度与标准高度进行比对，不断输出反馈意见，控制芯片贴合的速度与结束时刻，有利于提高芯片的良品率，减少损耗，降低成本；同时处理速度极快，有助于加快芯片生产，撼动当前芯片短缺的困境。
[0154]
应该明白，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不是要限于所述的特定顺序或层次。
[0155]
在上述的详细描述中，各种特征一起组合在单个的实施方案中，以简化本公开。不应该将这种公开方法解释为反映了这样的意图，即，所要求保护的主题的实施方案需要清楚地在每个权利要求中所陈述的特征更多的特征。相反，如所附的权利要求书所反映的那样，本发明处于比所公开的单个实施方案的全部特征少的状态。因此，所附的权利要求书特此清楚地被并入详细描述中，其中每项权利要求独自作为本发明单独的优选实施方案。
[0156]
本领域技术人员还应当理解，结合本文的实施例描述的各种说明性的逻辑框、模块、电路和算法步骤均可以实现成电子硬件、计算机软件或其组合。为了清楚地说明硬件和软件之间的可交换性，上面对各种说明性的部件、框、模块、电路和步骤均围绕其功能进行了一般地描述。至于这种功能是实现成硬件还是实现成软件，取决于特定的应用和对整个系统所施加的设计约束条件。熟练的技术人员可以针对每个特定应用，以变通的方式实现所描述的功能，但是，这种实现决策不应解释为背离本公开的保护范围。
[0157]
结合本文的实施例所描述的方法或者算法的步骤可直接体现为硬件、由处理器执行的软件模块或其组合。软件模块可以位于ram存储器、闪存、rom存储器、eprom存储器、eeprom存储器、寄存器、硬盘、移动磁盘、cd-rom或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质连接至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于asic中。该asic可以位于用户终端中。当然，处理器和存储介质也可以作为分立组件存在于用户终端中。
[0158]
对于软件实现，本技术中描述的技术可用执行本技术所述功能的模块(例如，过程、函数等)来实现。这些软件代码可以存储在存储器单元并由处理器执行。存储器单元可以实现在处理器内，也可以实现在处理器外，在后一种情况下，它经由各种手段以通信方式耦合到处理器，这些都是本领域中所公知的。
[0159]
上文的描述包括一个或多个实施例的举例。当然，为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的，但是本领域普通技术人员应该认识到，各个实施例可以做进一步的组合和排列。因此，本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外，就说明书或权利要求书中使用的术语“包含”，该词的涵盖方式类似于术语“包括”，就如同“包括，”在权利要求中用作衔接词所解
释的那样。此外，使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。