一种基于元件及缺陷分割的多品类FPCA的缺陷检测方法与流程

一种基于元件及缺陷分割的多品类fpca的缺陷检测方法
技术领域
1.本发明涉及fpca产品检测领域，特别涉及一种基于元件及缺陷分割的多品类fpca的缺陷检测方法。


背景技术：

2.fpca当前在电子产品上应用较广，其型号多样，缺陷众多，当前主要通过对每一个型号产品的多种缺陷进行单独开发检测，但是由于缺陷复杂，如fpca产品的元器件部分有折弯，折弯处的缺陷更是存在角度性等问题，另一方面部分产品的缺陷良率高，缺陷样本少，导致深度学习的模型训练效果一般，单个型号产品的研发周期长，成本高，效果一般。
3.fpca是指在fpc空板上贴了各类元件成品，主要应用于手机及各种穿戴设备等。fpca产量大，型号多，在当前不同fpca型号的缺陷检测往往需要进行单独的定制研发，成本高昂，研发较长。


技术实现要素：

4.为解决不同型号fpca的检测需要单独定制化的设计开发，成本高，要实现对不同fpca产品快速学习应用，本发明中披露了一种基于元件及缺陷分割的多品类fpca的缺陷检测方法，本发明的技术方案是这样实施的：
5.一种基于元件及缺陷分割的多品类fpca的缺陷检测方法，包括步骤如下，
6.s1，建立一个多fpca产品检测平台；所述平台包括若干个fpca产品库，每个fpca产品中包括若干个元件库，每个元件库中包括若干个缺陷库；
7.s2，对每个待训练fpca产品通过ai算法进行定位分割，得到待训练元件位置；
8.s3，对每个待训练元件的部位缺陷学习训练，形成每类缺陷的缺陷集合填充进缺陷库中，最终形成所有的fpca产品库模型；
9.s4，对待检测fpca产品通过ai算法进行定位分割，得到待检测元件位置；
10.s5，对待检测元件区域通过ai分割并形成各元件单图；
11.s6，多fpca产品检测平台首先对待检测fpca产品进行fpca产品库模型匹配；
12.s7，多fpca产品检测平台平台将各元件单图匹配至该fpca产品库模型中的元件库中；
13.s8，将每个元件单图分成不同的检测任务，分别检测该元件不同的缺陷类型；
14.s9，缺陷检测结束。
15.优选地，所述多fpca产品检测平台采用多通道光源图像融合标注、训练导入待训练缺陷图像信息。
16.优选地，当需要进行新fpca产品或元件缺陷模型训练时，多fpca产品检测平台选择相似的元件图像及模型任务后，叠加新型号的元件图像，进行缺陷的标注，而后进行模型的训练。
17.优选地，新fpca产品或元件缺陷模型训练分为多参数模型训练和轻量模型训练；
所述多参数模型训练以与新fpca产品的相似的已训练好的fpca产品库或元件缺陷库作为预训练模型进行多参数模型训练；
18.所述轻量模型训练通过知识蒸馏的学习方式，学习新fpca产品多参数模型的相关参数。
19.优选地，所述新fpca产品或元件缺陷模型训练步骤如下，
20.s10，建立新fpca产品库或元件缺陷库；
21.s11，选择相似fpca产品或元件缺陷模型作为预训练模型进行多参数模型训练；
22.s12，多参数模型训练好后，通过知识蒸馏的方式，进行轻量模型训练，轻量模型学习多参数模型的相关参数并完成新fpca产品库或元件缺陷库填充。
23.优选地，所述方法中ai算法包括深度优化过的resnext、yolo v5smobilenet v3等多种适合工业场景的算法模型。
24.本方法应用于多种fpca产品检测。
25.本发明通过对不同的fpca产品的各类元件及缺陷分割，搭建相应的元件及缺陷算法模型库，并通过相应的训练学习方法，来实现对不同fpca产品之间的快速训练应用，避免冗长的缺陷训练周期，以及样本缺少造成的检测效果差等，达到快速高效的良好检测应用。
附图说明
26.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一种实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
27.其中相同的零部件用相同的附图标记表示。需要说明的是，下面描述中使用的词语“前”、“后”、“左”、“右”、“上”和“下”指的是附图中的方向，词语“底面”和“顶面”、“内”和“外”分别指的是朝向或远离特定部件几何中心的方向。
28.图1为本发明的流程框架简图；
29.图2为ai算法分割图像流程简图；
30.图3为fpca检测平台的fpca产品库结构图；
31.图4为采用多通道光源图像融合标注、训练导入待训练缺陷图像信息的示意图；
32.图5为新fpca产品缺陷模型训练图。
具体实施方式
33.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
34.实施例
35.在一种具体的实施例中，如图1、图2、图3、图4和图5所示，一种基于元件及缺陷分割的多品类fpca的缺陷检测方法，包括步骤如下，
36.s1，建立一个多fpca产品检测平台；所述平台包括若干个fpca产品库，每个fpca产
品中包括若干个元件库，每个元件库中包括若干个缺陷库；
37.s2，对每个待训练fpca产品通过ai算法进行定位分割，得到待训练元件位置；
38.s3，对每个待训练元件的部位缺陷学习训练，形成每类缺陷的缺陷集合填充进缺陷库中，最终形成所有的fpca产品库模型；
39.s4，对待检测fpca产品通过ai算法进行定位分割，得到待检测元件位置；
40.s5，对待检测元件区域通过ai分割并形成各元件单图；
41.s6，多fpca产品检测平台首先对待检测fpca产品进行fpca产品库模型匹配；
42.s7，多fpca产品检测平台将各元件单图匹配至该fpca产品库模型中的元件库中；
43.s8，将每个元件单图分成不同的检测任务，分别检测该元件不同的缺陷类型；
44.s9，缺陷检测结束。
45.多fpca产品检测平台采用多通道光源图像融合标注、训练导入待训练缺陷图像信息。
46.当需要进行新fpca产品或元件缺陷模型训练时，多fpca产品检测平台选择相似的元件图像及模型任务后，叠加新型号的元件图像，进行缺陷的标注，而后进行模型的训练。
47.新fpca产品或元件缺陷模型训练分为多参数模型训练和轻量模型训练；所述多参数模型训练以与新fpca产品的相似的已训练好的fpca产品库或元件缺陷库作为预训练模型进行多参数模型训练；
48.所述轻量模型训练以已训练好的新fpca产品多参数模型为预训练模型，通过知识蒸馏的学习方式，调整参数进行训练。
49.新fpca产品或元件缺陷模型训练步骤如下，
50.s10，建立新fpca产品库或元件缺陷库；
51.s11，选择相似fpca产品或元件缺陷模型作为预训练模型进行多参数模型训练；
52.s12，多参数模型训练好后，将该模型作为轻量模型的预训练模型进行轻量模型训练；
53.s13，通过知识蒸馏，轻量模型学习多参数模型的相关检查参数并完成新fpca产品库或元件缺陷库填充。
54.所述方法中ai算法包括resnext和mobilenet v3等多种深度优化过的适用于工业缺陷检测场景的算法。
55.本实施例中，通过将少量产品图像进行每个元件区域轮廓的标注，提供多种深度优化的resnext或mobilenet v3等算法模型进行元件区域分割训练，从而实现对钢片、b2b元件、金手指区域等的精准分割，不受抖动等影响。通过精准的分割，可以有效减少背景干扰，更有利于实现缺陷的准确识别；同时通过针对不同的区域进行裁剪检测，每个检测区域图片小，检测速度更快。分割好的各个元件图像区域，可分别导出到相应的元件图像文件夹，以便于单元器件上的缺陷检测。解决了传统图像的区域分割主要通过设固定roi的方式或根据元器件的特征设定灰度过滤等阈值的方式来分离各元器件区域，但是由于产线存在抖动，拍摄偏移等现象，这类方法造成区域分割不会十分精准，从而导致在检测的时候可能会出现遗漏，检测的不精准等问题。
56.如图2和图4所示，多fpca产品检测平台支持多通道光源图像融合标注、训练，实现最优的检测效果，不遗漏一个缺陷。由于fpca上的凹坑、压伤等缺陷存在角度性问题(在某
一个角度上才能显现)，在fpca采集缺陷图像时，需要通过多角度光源或多光源组合成像的形式，单个产品拍摄多图。平台上支持多张图像以图像组的形式导入，同步进行标注(仅需标注一张图像，其他图像自动生成标签)，不同特征缺陷在不同图像中都可以一次性全部获取到特征信息，而后所有图像都用于训练，可以实现对各种角度性难辨性缺陷的检测识别。
57.如图3所示，基于上一步对每个型号的fpca产品的各个检测元件区域精准分割并形成各元件单图后，通过多fpca产品检测平台实现检测。首先通过多fpca产品检测平台上的模板库寻找最适合的元件模型，多fpca产品检测平台上每一个fpca型号都有一个模板库，如fpca1，fpca2等等，在每一个库中都有各自不同的元件检测区域，如钢板，psa膜，hb孔等，在每一个元件上细分成多个不同的检测任务，分别检测不同的缺陷类型，如钢板上的脏污、划伤。当有一个新的fpca产品，可以通过模板库查找各自相似的元件库进行训练，可以大幅度提升检测的速度及准确度。
58.如图5所示。常规的fpca缺陷训练通过对缺陷的标注、模型的设计选择、训练，这种方式受限于缺陷数据的数量、模型的设计等，需要大量的研发时间。本发明通过相似元件缺陷预训练模型迭代的方式，可以加快、更高效进行模型的训练。在通过平台选择相似的元件图像及模型任务后，叠加新型号的元件图像，进行缺陷的标注，而后进行模型的训练。
59.在每一个元件任务里，本发明通过提供不同的缺陷模型，有多参数模型和轻量模型，多参数模型的参数更多更复杂，检测更准确，但是时间较长，轻量模型检测速度快，更适用于工业检测场景应用。
60.本发明中新产品的缺陷训练，可以首先通过多参数模型进行训练，并将已训练好的其他fpca产品的模型为预训练模型，可以实现更快、更精准的检测，无需庞大的数据量即可得到一个较佳的效果。而后将新产品所训练的多参数模型，通过“知识蒸馏”的方式，轻量模型学习了多参数模型的相关参数，最终实现在快速的前提下，检测效果更佳，更方便于生产线的检测应用。
61.之所以采取这种方式，因为从头训练(所有权重随机初始化)太费时费力了，往往模型收敛(即取得一个相对稳定的检测值)需要很长的时间，通过预训练模型，网络在训练开始时候，权值的初始点位就处在了一个非常合适的地段，容易让网络收敛到他的全局最小值。
62.另外通过将已训练好的产品a网络模型作为预训练模型，其对图片进行特征提取的时候，能过对图片的纹理，色块等信息有一个不错的提取能力，不仅能够大大加快网络模型的训练速度，识别准确性也相对较高，避免需要大量的缺陷数据重新训练。
63.两个特定元件之间的缺陷，特征和纹理都有很大的相似性，这个时候，只需要对网络进行微调就可以有一个不错的效果。
64.知识蒸馏的方式：
65.原因：元件的缺陷跟背景具备相似性，如果强制判断分类的对错，会使学习能力不强的轻量模型，很难提取到缺陷之间相似特征。
66.解决：多参数模型的学习能力强，识别的准确率高，其最后输出的数据分布可以很好的区分缺陷之间的不相似的地方，同时能够提取到缺陷之间相同的特征。将这个分布给轻量模型(light模型)去学习，轻量模型可以收敛的更快，精度更高。
67.单个fpca产品上由多个区域组成，如柔板、元件、点胶、psa、补强、油墨等，每个区
域上都有各自众多缺陷需要检测，单个型号产品检测研发要求高，难度大，且部分缺陷由于良品率样本少，检测效果不佳，如何提升检测多个产品的快速检测应用是本发明的要点之一。
68.本实施例利用ai算法分割模型，通过简单的元件检测区域轮廓标注方式对fpca进行高精度的定位分割，得到相应元件的位置，例如钢板、b2b、膜类区域等，基于深度学习的元件位置定位分割更精准，例如柔板一定程度变形不影响定位精度。针对每一类元件部位的缺陷，基于不同光源成像的海量图像缺陷样本进行融合学习训练，形成每个元件、每类缺陷单独的检测模型，打造fpca平台库。其他不同新型号fpca产品，通过快速匹配平台上的各元件、不同的缺陷，并基于其他类似产品及缺陷的原模型，叠加少量新缺陷数据，通过多种训练方式进行再训练检测，获得良好效果的检测模型，最终针对不同的缺陷检测模型进行组合，实现整体的产品判断。
69.本发明的重点在于：
70.1，可以解决多fpca产品通用性检测的问题，仅用一套系统平台即可完成多种fpca产品的检测模型训练与检测任务，成本低；
71.2，在上述基础之上，提高了训练新fpca模型的训练速度和检测效率，可以在不影响检测质量的基础上实现新fpca产品的快速检测；
72.3，通过图像检测前的预处理可以有效减少背景干扰，更有利于实现缺陷的准确识别；
73.4，针对不同的区域进行裁剪检测，每个检测区域图片小，检测速度更快。
74.需要指出的是，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。