一种基于深度学习的石墨片组件外观缺陷检测方法与流程

本发明涉及自动检测领域，尤其涉及一种基于深度学习的石墨片外观缺陷检测方法。

背景技术：

1、随着半导体行业的兴起，作为散热材料的石墨片被广泛使用，然而具有缺陷的石墨片会对封装器件产生不良影响，因此预先对石墨片的缺陷进行检测十分重要。在石墨片缺陷检测中，大部分厂家都是采用人工检测的方式，由于受到人的视力、情绪、疲劳等因素影响，不仅效率低下，还会出现比较严重的过检漏检、设定的网络对缺陷的筛选标准跟质检员的筛选标准不统一等问题，造成产品检测质量不稳定。因此急需提出一种能够快速、稳定地对石墨片外观缺陷进行检测的有效方法。

技术实现思路

1、为解决上述技术问题，本发明提供了一种基于深度学习的石墨片外观缺陷检测方法。

2、本发明的技术方案是：一种基于深度学习的石墨片组件外观缺陷检测方法,石墨片组件包括石墨片区域和镍片区域，该方法包括以下步骤：

3、s1、采用高低光源分时频闪分别得到石墨片组件的高曝光图像和低曝光图像，提取高曝光图像中的石墨片区域，低曝光的图像中的镍片区域，将提取的所述石墨片区域和镍片区域合并，生成石墨片组件的待检测图像；

4、s2、建立工件坐标系，在所述待检测图像上使用图像处理技术将石墨片区域和镍片区域分别定位到所述工件坐标系，并将石墨片区域和镍片区域分别裁剪成若干小块图像，发送给深度学习网络；

5、s3、深度学习网路包括一级学习网络和二级学习网络，一级学习网路遍历石墨片区域和镍片区域发送的若干小块图像的所有缺陷，根据检测对象的不同，划分为石墨片区缺陷和镍片区缺陷；

6、若一级学习网络输出ok，对应的石墨片组件视为合格产品，若一级学习网络输出ng，根据一级学习网络输出的缺陷的长、宽、面积等参数进行初步筛选，对于不满足条件的缺陷，对应的石墨片组件仍视为合格产品；

7、对于满足条件的缺陷图像，发送给二级学习网络进行复检，若二级学习网络输出ok，对应的石墨片组件视为合格产品；若二级学习网络输出ng，则转入步骤s4；

8、s4、对二级学习网络输出ng图像进行分析，根据缺陷位置和个数进行质量筛选，若缺陷超出预先设定条件，对应的石墨片组件判定为最终的ng产品。

9、进一步的，步骤s1中，采用高低光源分时频闪分别得到石墨片组件的高曝光图像和低曝光图像，包括：

10、s11、利用高低光源分时频闪技术扫描图像，将所述拍摄图像奇偶行拆开重组成为两张图像，得到同一个产品对应的高曝光图像和低曝光图像。

11、进一步的，步骤s1中，采用16k线扫相机配合高低光源进行图像扫描。

12、进一步的，步骤s1中,生成石墨片组件的待检测图像，包括：

13、s12、在高曝光图像上使用自动阈值分割技术提取暗区域，即可得到石墨片区域；对于石墨片区域中气泡、划伤等亮区域，将其与石墨片区域的暗区域进行连通性分析，仍划分为石墨片区域；对于镍片区域中脏污、压痕等暗区域，进行特征筛选，不划分为石墨片区域；

14、s13、在低曝光图像上，读取特定石墨片组件型号的镍片外边缘dxf文件，使用固定阈值分割提取石墨片区域，并计算石墨片区域外接矩形的特征参数，以石墨片区域外接矩形为标准，增加宽高方向偏移量，作为缩减范围后的镍片ro i区域；在镍片ro i区域应用轮廓匹配算法，将镍片外边缘dxf文件配准到当前镍片ro i区域图像上，镍片外边缘dxf文件所包围的区域减去石墨片区域即为对应的镍片区域；

15、s14、分别计算石墨片区域及镍片区域的行列坐标值和对应的灰度值，将所述行列坐标值和对应的灰度值存储于存储介质中，未保存灰度值的位置默认为255，即得到石墨片组件的待检测图像。

16、进一步的，步骤s13中镍片外边缘dxf文件的建立过程如下：

17、从预设的模版图调取石墨片组件型号，使用cad软件，提取镍片边缘为外轮廓，保存为镍片外边缘dxf文件。

18、进一步的，步骤s2中，一级学习网络采用fpn+resnet34网络模型，二级学些网络采用resnet50网络模型。

19、进一步的，步骤s2中，建立工件坐标系，在所述待检测图像上使用图像处理技术将石墨片区域和镍片区域分别定位到所述工件坐标系，并将石墨片区域和镍片区域分别裁剪成若干小块图像，发送给深度学习网络，包括：

20、s21、使用canny算法，检测镍片的左边和上边边缘线，经过直线拟合后，以线线交点作为石墨片组件的工件坐标系的原点o’，以镍片上边边缘线的拟合线跟图像坐标系xy中的x轴的夹角作为工具坐标系的角度，建立工件坐标系x’y’；

21、s22、在工件坐标系x’y’下，设置检测roi区域，拆分镍片区域和石墨片区域，以及镍片区域和石墨片区域交界处的特殊检测roi区域，将设置好的roi区域裁剪成小块图像送给深度学习网络，进行后续的缺陷检测；

22、进一步的，步骤s3中，对于满足条件的缺陷图像，发送给二级学习网络进行复检，包括：

23、s31、对于一级学习网络输出的ng图像，根据分割出来的缺陷类别和位置信息，以每个缺陷中心为roi中心，以该缺陷最小外接矩形特征为参照，设置ro i宽和高，裁剪出缺陷小块图像，以缺陷类别建立文件夹，将包含对应缺陷的小块图像放进所述文件夹，导入所有的文件夹进入二级学习网络，完成复检。

24、进一步的，步骤s3中还包括模型训练，包括：

25、s32、对石墨片组件图像进行打标：收集石墨片组件的ok品和ng品，对于ng品，按缺陷类别进行打标，并通过人工来标记缺陷准确形状及类别名称；对于ok品，打标为合格类；对标记好的所有ok品和ng品进行翻转和旋转，从不同角度识别图像；

26、s33、进行检测模型的训练：设置patch大小为256像素，输入图像裁剪成256*256像素的小区域进行训练和检测，迭代次数为在35000～40000次，经过fpn+resnet34网络的迭代训练后，生成深度学习模型文件，运行时加载所述深度学习模型文件。

27、本发明的有益技术效果是：

28、本发明的光学方案采用16k线扫相机配合高低光源，利用分时频闪技术，得到产品同一位置在高曝光和低曝光下的两张图像，利用图像处理技术从两张图像上生成一张新图，新图的石墨区域和镍片区域都呈现比较好的成像效果。基于深度学习的检测方案采用预处理算法(定位、融合、滤波等)+深度学习网络(fpn_resnet34分割网络+resnet50分类网络)+后处理算法(缺陷数据分析)的检测体系对石墨片组件进行缺陷检测，可以满足对石墨片组件全面且稳定检测的需求。

29、经过产线批量量产验证，本发明的技术方案具有以下优点：

30、1、机器取代人工，节约人力成本10人/班线；

31、2、设备自动检测效率为8s/片，而通常人工检测一个产品要1～2分钟，大大缓解了产能压力；

32、3、设备整体漏检率降低至0.05％，过检率降低至1％，满足客户要求，有效的避免了人工检测带来的主观因素影响而导致的产品质量问题。