基于语义分割和目标检测融合模型的复合缺陷检测方法与流程

1.本发明涉及屏幕表面缺陷检测技术领域，特别是涉及一种基于语义分割和目标检测融合模型的复合缺陷检测方法。


背景技术：

2.手机在使用过程中，其屏幕表面难免存在缺陷。现有手机屏幕表面缺陷按缺陷存在的情况主要可以分为单种类型缺陷、多种类型缺陷和多种缺陷类型混合。三种缺陷情况中，多种缺陷类型混合的情况检测过程相对难度较大。单种类型缺陷，指的是在一张手机屏幕图像上仅存在一种类型的缺陷，这种情况对于检测模型检测难度相对较低；多种类型缺陷，指的是在一张手机屏幕图像上存在多种不同种类的缺陷，但是这些缺陷图像中不存在混合重叠的情况，这种情况下检测模型检测难度会比单种缺陷检测大；多种类型缺陷重叠，通常表现为手机屏幕图像上的某一个区域同时存在有多种缺陷重叠交错，并且缺陷存在形式比较难以判断，这种情况下检测模型检测难度在三种缺陷存在情况中最高，难以成功准确的检测到图像中的所有缺陷。另外手机屏幕表面除了上述存在的情况外，还可能存在以下情况导致检测模型检测准确率不高。如存在：1.部分缺陷的像素点色度值比较低，特征极度不明显。2.手机屏幕上存在的各类缺陷的尺寸相差甚大，各类缺陷所提取的特征尺寸不统一，难以用于检测目标。3.正负样本的划分方式不是特别的合理，特别是在一些特殊情况。这些手机屏幕存在的情况可能就导致了检测难度变大，检测的精度下降，检测效果差。
3.根据现有的一些检测模型，比如采用经典的目标检测网络faster r-cnn，经过多次训练迭代，可以达到对单种类型缺陷和多种类型缺陷这两类图像有不错的检测效果，但是对于多种类型缺陷重叠的情况，直到现在也没有十分合适的检测模型。对于多种类型缺陷重叠的情况，明显对于一般的检测模型检测能力是不足的，主要原因在于：首先，对于同一个区域内存在有多种类型缺陷重叠的情况，目标检测网络进行检测时候，可能会根据一个区域内所有存在的缺陷中特征最明显的缺陷利用特征提取网络进行提取特征，然后又利用提取到的特征进行后续的检测任务，进而对其进行分类预测和位置预测，但是这个区域内却是具有多个种类的缺陷的，所以也就导致了漏检的问题或者是由于缺陷特征混杂，导致无法检测出缺陷。其次，手机屏幕表面的图像种缺陷的像素色度值偏低，导致了目标检测网络中特征提取网络提取不到取到图像中的特征图，进而使得目标检测网络后续网络对缺陷难以检测。最后，各种类型得缺陷的尺寸相差很大，如果是利用缺陷的特征，然后进行后续的目标检测，可能会由于各类缺陷尺寸大小差异，大缺陷需要用深层的特征进行判断，小缺陷需要用浅层的特征进行判断，导致了检测效果不好。


技术实现要素：

4.本发明为了解决以上至少一种技术缺陷，提供一种基于语义分割和目标检测融合模型的复合缺陷检测方法，能够有效解决多种类型缺陷重叠的手机屏幕图像的缺陷检测问题。
5.为解决上述技术问题，本发明的技术方案如下：
6.基于语义分割和目标检测融合模型的复合缺陷检测方法，包括以下步骤：
7.s1：获取原始图像并利用图像色度值分析方法，计算原始图像的低色度值像素的个数占比，获取正常范围色度值的原始图像；
8.s2：将正常范围色度值的原始图像进行复合缺陷图像预处理，得到多个缺陷图像；
9.s3：对每个缺陷图像进行图像边缘检测，得到各个图像中缺陷边缘形状；
10.s4：根据缺陷边缘形状对各个图像进行形状判断，区分图像的缺陷类型；
11.s5：根据图像的缺陷类型，对原始图像进行缺陷图像预处理，得到对应预处理后的图像；
12.s6：构建并训练unet语义分割网络，并将预处理后的图像作为unet网络的输入，对对应的图像缺陷进行预测，得到对应图像的缺陷掩模图；
13.s7：利用直方图相似度算法，计算对应图像的缺陷掩模图与原始图像对应缺陷的掩模标签的相似度，得到每种缺陷的相似度；
14.s8：为每种缺陷设置对应的相似度阈值，将每种缺陷的相似度与对应缺陷的相似度阈值作比较，若缺陷的相似度大于设定的相似度阈值，则将该相似度对应的缺陷掩模图与原始图像叠加，得到叠加图像；若缺陷的相似度小于或等于设定的相似度阈值，则返回执行步骤s5，对该相似度对应的缺陷类型的缺陷图像预处理的参数进行调整；
15.s9：将得到的所有叠加图像输入构建好的faster r-cnn网络中，进行缺陷目标检测，得到多张检测结果图，并将多张检测结果图的检测结果共同显示到原始图像上，获取faster r-cnn网络检测结果图，完成复合缺陷的检测。
16.上述方案中，所述图像色度值分析方法用于统计整张原始图像每个像素的色度值，根据色度值的分布情况，进行相应后续的图像处理。在本方案中，若整张原始图像色度值分布情况普遍较低，则此图像不作后续的处理。若整张原始图像色度值分布情况较为正常，则此图像正常进行后续的处理。
17.上述方案中，通过对原始图像各种缺陷进行分别检测，可以有效解决多种类型缺陷重叠的手机屏幕图像的缺陷检测问题；同时，通过应用多个缺陷图像预处理方法，可以解决对于部分缺陷的像素点色度值比较低、特征极度不明显的问题。
18.其中，在所述步骤s2中，所述复合缺陷图像预处理包括划痕缺陷图像预处理、气泡缺陷图像预处理、锡灰缺陷图像预处理和针孔缺陷图像预处理；其中，所述划痕缺陷图像预处理能实现对原始图像中划痕缺陷的凸显，得到sp-1缺陷图像；气泡缺陷图像预处理对原始图像中气泡缺陷的凸显，得到bp-1缺陷图像；锡灰缺陷图像预处理能实现对原始图像中锡灰缺陷的凸显，得到tp-1缺陷图像；针孔缺陷图像预处理能实现对原始图像中针孔缺陷的图像，得到pp-1缺陷图像。
19.上述方案中，所述划痕缺陷图像预处理、气泡缺陷图像预处理、锡灰缺陷图像预处理和针孔缺陷图像预处理的方法均由多种不同的图像预处理方法组合而成，能对图像相应缺陷有较好的凸显，此处对应的方法的初始参数均设置为一个较为通用的值。
20.其中，在所述步骤s3中，利用边缘检测算子，对每个缺陷图像进行图像边缘检测，将对应图像中缺陷的轮廓边缘进行精确的测量和定位，获取每个图像的缺陷边缘形状。
21.其中，在所述步骤s4中，利用划痕形状判断方法判断sp-1缺陷图像中的边缘形状
是否为划痕缺陷，若是，则确定原始图像具备划痕缺陷，进入步骤s5处理；否则，则针对该原始图像不进行划痕缺陷后续处理；同理，利用气泡形状判断方法判断bp-1缺陷图像中的边缘形状是否为气泡缺陷，利用锡灰形状判断方法判断tp-1缺陷图像中的边缘形状是否为锡灰缺陷，利用针孔形状判断方法判断pp-1缺陷图像中的边缘形状是否为针孔缺陷；至此，得到原始图像所具有的缺陷类型。
22.上述方案中，所述用划痕形状判断方法是根据sp-1缺陷图像和图像边缘检测处理后所得到的缺陷边缘形状，判断是否与真实划痕的形状和面积吻合，从而确定原始图像具备划痕缺陷；气泡形状判断方法、锡灰形状判断方法、针孔形状判断方法的判断过程也是同理。
23.其中，在所述步骤s5中，根据步骤s4中确定的缺陷类型，对原始图像进行缺陷图像预处理；其中，若原始图像具备划痕缺陷，则对其进行划痕缺陷图像预处理，获取sp-2图像；若原始图像具备气泡缺陷，则对其进行气泡缺陷图像预处理，获取bp-2图像；若原始图像具备锡灰缺陷，则对其进行锡灰缺陷图像预处理，获取tp-2图像；若原始图像具备针孔缺陷，则对其进行针孔缺陷图像预处理，获取pp-2图像；所述sp-2图像、bp-2图像、tp-2图像和pp-2图像即为对应预处理后的图像。
24.上述方案中，所述的划痕缺陷图像预处理、气泡缺陷图像预处理、锡灰缺陷图像预处理、针孔缺陷图像预处理所采用的方法与步骤s2所述的复合缺陷图像预处理基本一致，不同的是此处的对应方法的初始参数设置为一个较小的值，目的在于步骤s8中返回调参。
25.其中，在所述步骤s6中，所述unet语义分割网络包括特征提取部分和加强特征提取部分；其首先利用特征提取部分对输入图像进行特征提取，得到图像的特征图，然后由加强特征提取部分对得到的特征图进行上采样和多层特征融合操作，得到最终融合后的特征图，最后将融合后的特征图回归到跟输入图像一样尺寸的像素点的分类；将pp-2图像；所述sp-2图像、bp-2图像、tp-2图像和pp-2图像作为输入图像，由unet语义分割网络进行预测后，得到不同缺陷的掩模图，sp-2图像、bp-2图像、tp-2图像、pp-2图像对应得到划痕缺陷掩模图、气泡缺陷掩模图、锡灰缺陷掩模图和针孔缺陷掩模图。
26.上述方案中，sp-2图像经过unet语义分割网络进行预测时，预测结果中只需显示出预测的划痕掩模；bp-2图像经过unet语义分割网络进行预测时，预测结果中只需显示出预测的气泡掩模；tp-2图像经过unet语义分割网络进行预测时，预测结果中只需显示出预测的锡灰掩模；pp-2图像经过unet语义分割网络进行预测时，预测结果中只需显示出预测的针孔掩模。其中，已经训练好的unet语义分割网络中嵌入了注意力机制模块，用于权衡每个特征层的重要性进行权重分配，调整不同特征的权重系数，便于分割出效果好的掩模图，能够提高预测的准确度。
27.其中，在所述步骤s8中，unet语义分割网络所预测的划痕掩模只与原始图像的划痕掩模标签计算相似度；unet语义分割网络所预测的气泡掩模只与原始图像的气泡掩模标签计算相似度；unet语义分割网络所预测的锡灰掩模只与原始图像的锡灰掩模标签计算相似度；unet语义分割网络所预测的针孔掩模只与原始图像的针孔掩模标签计算相似度。
28.其中，在所述步骤s9中，所述faster r-cnn网络包括特征提取网络、候选区域生成网络(region proposal networks)、roi pooling层、分类和回归层(classification and regression)；其中：特征提取网络用于提取图像的特征，输入为叠加图像，输出为提取得到
的特征图；候选区域生成网络用于生成候选区域并对候选区域进行筛选，输入为原始图像，输出为筛选后的候选框；roi pooling层用于搜集提取得到的特征图和筛选后的候选框，将其进行综合，提取候选框对应的特征，得到固定尺寸的特征图；分类和回归层根据得到的固定尺寸的特征图，输出最终候选区域所属的类别和候选区域在图像中精确位置，利用探测分类概率(softmax loss)和探测边框回归(smooth l1 loss)对分类概率和边框回归联合训练，从而得到候选区域的类别，同时获得预测框最终精确位置，即得到多张检测结果图；并将其得到的多张检测结果图显示到原始图像上作为faster r-cnn网络检测结果图，完成复合缺陷的检测。
29.上述方案中，将前面步骤得到的叠加图像作为faster r-cnn网络的输入，在faster r-cnn网络中：首先利用特征提取网络将叠加图像进行特征提取，得到特征图；接着根据特征图利用候选区域生成网络，生成候选框并对所生成的候选框进行筛选；然后，综合帅选后的候选框和特征图利用roi pooling层，进行筛选剩下的候选框并得到固定尺寸的特征图；其中在候选框生成过程，不是通过人为设定候选框尺寸，而是利用isodata自迭代聚类算法进行聚类得到候选框的尺寸；最后，根据得到的固定尺寸的特征图，输入到两个全连接层，进行分类预测和位置预测，将得到的faster r-cnn网络的预测图的预测框，然后将这些预测框显示到原始图像上。
30.其中，在所述步骤s9中，faster r-cnn网络的候选区域生成网络在生成候选框过程中，利用isodata自迭代聚类算法，对候选框尺寸进行聚类生成对应的候选框。
31.上述方案中，使用isodata自迭代聚类算法代替了faster r-cnn网络中rpn部分人工设置候选框尺寸的操作，利用聚类算法代替人工设置，提高边框回归的准确度和效率。可以有效解决现有手机屏幕上存在的各类缺陷的尺寸相差甚大、各类缺陷所提取的特征尺寸不统一的问题。
32.其中，所述基于语义分割和目标检测融合模型的复合缺陷检测方法还包括以下步骤：
33.s10：利用交并比与相似度综合法，根据faster r-cnn网络获得的预测框进行计算，实现为faster r-cnn网络模型性能的评估。
34.其中，在所述步骤s10中，所述交并比与相似度综合法包括交并比计算部分和利用孪生神经网络相似度计算部分，通过这两个部分的综合计算，检测faster r-cnn网络模型中的真正例、假负例、假正例和真负例个数，从而实现对faster r-cnn网络模型性能的评估；具体为：
35.通过xml文件获取真实框的位置、尺寸和类别信息，并通过步骤s9获取得到预测框的位置、尺寸和类别信息；通过交并比计算部分计算真实框与预测框的交并比，根据设定好的交并比标准，交并比大于标的，则归类为真正例；将交并比在0.3到0.5之间的所有预测框进行提取，将提取出的预测框与其对应的真实框输入到孪生神经网络相似度计算部分中计算得到相似度，若两者相似度达到0.7，则判定该预测框为真正例，反之，则为假正例；最后利用真正例、假负例、假正例和真负例个数，从而实现对faster r-cnn网络模型性能的评估。
36.上述方案中所应用到的孪生神经网络(siamese neural network)，又名双生神经网络，是基于两个人工神经网络建立的耦合框架。孪生神经网络以两个样本为输入，其两个
子网络各自接收一个输入，输出其嵌入高纬度空间的表征，通过计算两个表征的距离，例如欧式距离，以比较两个样本的相似程度。在本方案中，孪生神经网络主要用于比较faster r-cnn网络的预测与所对应的真实框这两者孩子间的相似程度。孪生神经网络中有两个相同的结构而且权值共享的子网络，分别接收两个输入x1和x2，将其转化成向量gw(x1)和gw(x2)，再通过某种距离度量的方式计算两个输出向量的距离ew。
37.上述方案中，通过采用交并比与相似度综合法的方式，可以解决现有由于真正例、假负例、假正例和真负例的划分方式上不是特别的合理的问题。
38.与现有技术相比，本发明技术方案的有益效果是：
39.本发明提出了一种基于语义分割和目标检测融合模型的复合缺陷检测方法，通过对原始图像各种缺陷进行分别检测，可以有效解决多种类型缺陷重叠的手机屏幕图像的缺陷检测问题；同时，通过应用多个缺陷图像预处理方法，可以解决对于部分缺陷的像素点色度值比较低、特征极度不明显的问题。
附图说明
40.图1为本发明所述方法流程示意图；
41.图2为本发明一实施例中步骤s1-步骤s4的流程示意图；
42.图3为本发明一实施例中步骤s5-步骤s9的流程示意图；
43.图4为本发明一实施例中unet语义分割网络结构示意图；
44.图5为本发明一实施例中faster r-cnn目标检测网络结构示意图；
45.图6为本发明一实施例中孪生神经网络结构示意图。
具体实施方式
46.附图仅用于示例性说明，不能理解为对本专利的限制；
47.为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
48.对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
49.下面结合附图和实施例对本发明的技术方案做进一步的说明。
50.实施例1
51.现有的手机屏幕表面缺陷检测技术，通常采用yolo v3单阶段目标检测网络和faster r-cnn两阶段目标检测网络等一些流行目标检测网络。普通的目标检测网络对单种类型缺陷和多种类型缺陷图像的检测能达到较好的效果，但是对于多种类型缺陷重叠图像以及检测过程中存在的问题，普通的检测网络不能很好解决，为此，本发明提出了一种基于语义分割和目标检测融合模型的复合缺陷检测方法，如图1所示。包括以下步骤：
52.s1：获取原始图像并利用图像色度值分析方法，计算原始图像的低色度值像素的个数占比，获取正常范围色度值的原始图像；
53.s2：将正常范围色度值的原始图像进行复合缺陷图像预处理，得到多个缺陷图像；
54.s3：对每个缺陷图像进行图像边缘检测，得到各个图像中缺陷边缘形状；
55.s4：根据缺陷边缘形状对各个图像进行形状判断，区分图像的缺陷类型；
56.s5：根据图像的缺陷类型，对原始图像进行缺陷图像预处理，得到对应预处理后的图像；
57.s6：构建并训练unet语义分割网络，并将预处理后的图像作为unet网络的输入，对对应的图像缺陷进行预测，得到对应图像的缺陷掩模图；
58.s7：利用直方图相似度算法，计算对应图像的缺陷掩模图与原始图像对应缺陷的掩模标签的相似度，得到每种缺陷的相似度；
59.s8：为每种缺陷设置对应的相似度阈值，将每种缺陷的相似度与对应缺陷的相似度阈值作比较，若缺陷的相似度大于设定的相似度阈值，则将该相似度对应的缺陷掩模图与原始图像叠加，得到叠加图像；若缺陷的相似度小于或等于设定的相似度阈值，则返回执行步骤s5，对该相似度对应的缺陷类型的缺陷图像预处理的参数进行调整；
60.s9：将得到的所有叠加图像输入构建好的faster r-cnn网络中，进行缺陷目标检测，得到多张检测结果图，并将多张检测结果图的检测结果共同显示到原始图像上，获取faster r-cnn网络检测结果图，完成复合缺陷的检测。
61.在具体实施过程中，所述图像色度值分析方法用于统计整张原始图像每个像素的色度值，根据色度值的分布情况，进行相应后续的图像处理。在本方案中，若整张原始图像色度值分布情况普遍较低，则此图像不作后续的处理。若整张原始图像色度值分布情况较为正常，则此图像正常进行后续的处理。
62.在具体实施过程中，本发明采用了基于faster r-cnn网络，嵌入了unet语义分割网络，加入了图像色度值分析方法、复合缺陷图像预处理方法、缺陷图像预处理方法、直方图相似度算法等，形成了一种增强型混合模型，实现了对手机屏幕复合缺陷的检测。在这套混合模型中，能有效解决多种类型缺陷重叠的手机屏幕图像的检测问题；其次，对于部分缺陷的像素色度值比较低，特征极度不明显的情况，也能较好解决。
63.实施例2
64.更具体的，在实施例1的基础上，如图2所示，图2表示步骤s1-步骤s4的流程示意图。
65.其中，在所述步骤s2中，所述复合缺陷图像预处理包括划痕缺陷图像预处理、气泡缺陷图像预处理、锡灰缺陷图像预处理和针孔缺陷图像预处理；其中，所述划痕缺陷图像预处理能实现对原始图像中划痕缺陷的凸显，得到sp-1缺陷图像；气泡缺陷图像预处理对原始图像中气泡缺陷的凸显，得到bp-1缺陷图像；锡灰缺陷图像预处理能实现对原始图像中锡灰缺陷的凸显，得到tp-1缺陷图像；针孔缺陷图像预处理能实现对原始图像中针孔缺陷的图像，得到pp-1缺陷图像。
66.在具体实施过程中，所述划痕缺陷图像预处理、气泡缺陷图像预处理、锡灰缺陷图像预处理和针孔缺陷图像预处理的方法均由多种不同的图像预处理方法组合而成，能对图像相应缺陷有较好的凸显，此处对应的方法的初始参数均设置为一个较为通用的值。
67.更具体的，在所述步骤s3中，利用边缘检测算子，对每个缺陷图像进行图像边缘检测，将对应图像中缺陷的轮廓边缘进行精确的测量和定位，获取每个图像的缺陷边缘形状。
68.更具体的，在所述步骤s4中，利用划痕形状判断方法判断sp-1缺陷图像中的边缘形状是否为划痕缺陷，若是，则确定原始图像具备划痕缺陷，进入步骤s5处理；否则，则针对该原始图像不进行划痕缺陷后续处理；同理，利用气泡形状判断方法判断bp-1缺陷图像中
的边缘形状是否为气泡缺陷，利用锡灰形状判断方法判断tp-1缺陷图像中的边缘形状是否为锡灰缺陷，利用针孔形状判断方法判断pp-1缺陷图像中的边缘形状是否为针孔缺陷；至此，得到原始图像所具有的缺陷类型。
69.在具体实施过程中，所述用划痕形状判断方法是根据sp-1缺陷图像和图像边缘检测处理后所得到的缺陷边缘形状，判断是否与真实划痕的形状和面积吻合，从而确定原始图像具备划痕缺陷；气泡形状判断方法、锡灰形状判断方法、针孔形状判断方法的判断过程也是同理。
70.更具体的，如图3所示，图3表示步骤s5-步骤s9的流程示意图。
71.其中，在所述步骤s5中，根据步骤s4中确定的缺陷类型，对原始图像进行缺陷图像预处理；其中，若原始图像具备划痕缺陷，则对其进行划痕缺陷图像预处理，获取sp-2图像；若原始图像具备气泡缺陷，则对其进行气泡缺陷图像预处理，获取bp-2图像；若原始图像具备锡灰缺陷，则对其进行锡灰缺陷图像预处理，获取tp-2图像；若原始图像具备针孔缺陷，则对其进行针孔缺陷图像预处理，获取pp-2图像；所述sp-2图像、bp-2图像、tp-2图像和pp-2图像即为对应预处理后的图像。
72.在具体实施过程中，所述的划痕缺陷图像预处理、气泡缺陷图像预处理、锡灰缺陷图像预处理、针孔缺陷图像预处理所采用的方法与步骤s2所述的复合缺陷图像预处理基本一致，不同的是此处的对应方法的初始参数设置为一个较小的值，目的在于步骤s8中返回调参。
73.更具体的，在所述步骤s6中，如图4所示，所述unet语义分割网络包括特征提取部分和加强特征提取部分；其首先利用特征提取部分对输入图像进行特征提取，得到图像的特征图，然后由加强特征提取部分对得到的特征图进行上采样和多层特征融合操作，得到最终融合后的特征图，最后将融合后的特征图回归到跟输入图像一样尺寸的像素点的分类；将pp-2图像；所述sp-2图像、bp-2图像、tp-2图像和pp-2图像作为输入图像，由unet语义分割网络进行预测后，得到不同缺陷的掩模图，sp-2图像、bp-2图像、tp-2图像、pp-2图像对应得到划痕缺陷掩模图、气泡缺陷掩模图、锡灰缺陷掩模图和针孔缺陷掩模图。
74.在具体实施过程中，sp-2图像经过unet语义分割网络进行预测时，预测结果中只需显示出预测的划痕掩模；bp-2图像经过unet语义分割网络进行预测时，预测结果中只需显示出预测的气泡掩模；tp-2图像经过unet语义分割网络进行预测时，预测结果中只需显示出预测的锡灰掩模；pp-2图像经过unet语义分割网络进行预测时，预测结果中只需显示出预测的针孔掩模。其中，已经训练好的unet语义分割网络中嵌入了注意力机制模块，用于权衡每个特征层的重要性进行权重分配，调整不同特征的权重系数，便于分割出效果好的掩模图，能够提高预测的准确度。
75.在具体实施过程中，注意力机制通常是一个额外的神经网络，能够硬性选择输入的某些部分，或者给输入的不同部分分配不同的权重。注意力机制能够从大量信息中筛选出重要的信息。本方案中采用的是se-net，通过自动学习的方式(用另一个新的神经网络实现)获取到每个特征通道的重要程度，然后用这个重要程度去给每一个特征通道赋予一个权重值，从而让神经网络重点关注某些特征通道，即提升对当前任务有用的特征通道并抑制对当前任务用出不到的特征通道。
76.更具体的，在所述步骤s8中，unet语义分割网络所预测的划痕掩模只与原始图像
的划痕掩模标签计算相似度；unet语义分割网络所预测的气泡掩模只与原始图像的气泡掩模标签计算相似度；unet语义分割网络所预测的锡灰掩模只与原始图像的锡灰掩模标签计算相似度；unet语义分割网络所预测的针孔掩模只与原始图像的针孔掩模标签计算相似度。
77.更具体的，在所述步骤s9中，如图5所示，所述faster r-cnn网络包括特征提取网络、候选区域生成网络(region proposal networks)、roi pooling层、分类和回归层(classification and regression)；其中：特征提取网络用于提取图像的特征，输入为叠加图像，输出为提取得到的特征图；候选区域生成网络用于生成候选区域并对候选区域进行筛选，输入为原始图像，输出为筛选后的候选框；roi pooling层用于搜集提取得到的特征图和筛选后的候选框，将其进行综合，提取候选框对应的特征，得到固定尺寸的特征图；分类和回归层根据得到的固定尺寸的特征图，输出最终候选区域所属的类别和候选区域在图像中精确位置，利用探测分类概率(softmax loss)和探测边框回归(smooth l1 loss)对分类概率和边框回归联合训练，从而得到候选区域的类别，同时获得预测框最终精确位置，即得到多张检测结果图；并将其得到的多张检测结果图显示到原始图像上作为faster r-cnn网络检测结果图，完成复合缺陷的检测。
78.在具体实施过程中，将前面步骤得到的叠加图像作为faster r-cnn网络的输入，在faster r-cnn网络中：首先利用特征提取网络将叠加图像进行特征提取，得到特征图；接着根据特征图利用候选区域生成网络，生成候选框并对所生成的候选框进行筛选；然后，综合帅选后的候选框和特征图利用roi pooling层，进行筛选剩下的候选框并得到固定尺寸的特征图；其中在候选框生成过程，不是通过人为设定候选框尺寸，而是利用isodata自迭代聚类算法进行聚类得到候选框的尺寸；最后，根据得到的固定尺寸的特征图，输入到两个全连接层，进行分类预测和位置预测，将得到的faster r-cnn网络的预测图的预测框，然后将这些预测框显示到原始图像上。
79.更具体的，在所述步骤s9中，faster r-cnn网络的候选区域生成网络在生成候选框过程中，利用isodata自迭代聚类算法，对候选框尺寸进行聚类生成对应的候选框。
80.在具体实施过程中，使用isodata自迭代聚类算法代替了faster r-cnn网络中rpn部分人工设置候选框尺寸的操作，利用聚类算法代替人工设置，提高边框回归的准确度和效率。可以有效解决现有手机屏幕上存在的各类缺陷的尺寸相差甚大、各类缺陷所提取的特征尺寸不统一的问题。
81.实施例3
82.更具体的，所述基于语义分割和目标检测融合模型的复合缺陷检测方法还包括以下步骤：
83.s10：利用交并比与相似度综合法，根据faster r-cnn网络获得的预测框进行计算，实现为faster r-cnn网络模型性能的评估。
84.更具体的，在所述步骤s10中，所述交并比与相似度综合法包括交并比计算部分和利用孪生神经网络相似度计算部分，通过这两个部分的综合计算，检测faster r-cnn网络模型中的真正例、假负例、假正例和真负例个数，从而实现对faster r-cnn网络模型性能的评估；具体为：
85.通过xml文件获取真实框的位置、尺寸和类别信息，并通过步骤s9获取得到预测框
的位置、尺寸和类别信息；通过交并比计算部分计算真实框与预测框的交并比，根据设定好的交并比标准，交并比大于标的，则归类为真正例；将交并比在0.3到0.5之间的所有预测框进行提取，将提取出的预测框与其对应的真实框输入到孪生神经网络相似度计算部分中计算得到相似度，若两者相似度达到0.7，则判定该预测框为真正例，反之，则为假正例；最后利用真正例、假负例、假正例和真负例个数，从而实现对faster r-cnn网络模型性能的评估。
86.上述方案中所应用到的孪生神经网络(siamese neural network)，又名双生神经网络，是基于两个人工神经网络建立的耦合框架，其结构如图6所示。孪生神经网络以两个样本为输入，其两个子网络各自接收一个输入，输出其嵌入高纬度空间的表征，通过计算两个表征的距离，例如欧式距离，以比较两个样本的相似程度。在本方案中，孪生神经网络主要用于比较faster r-cnn网络的预测与所对应的真实框这两者孩子间的相似程度。孪生神经网络中有两个相同的结构而且权值共享的子网络，分别接收两个输入x1和x2，将其转化成向量gw(x1)和gw(x2)，再通过某种距离度量的方式计算两个输出向量的距离ew。
87.在具体实施过程中，通过采用交并比与相似度综合法的方式，可以解决现有由于真正例、假负例、假正例和真负例的划分方式上不是特别的合理的问题。
88.显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。