一种基于迁移学习的印刷标签缺陷检测方法及系统与流程

本发明属于印刷标签缺陷检测，尤其涉及一种基于迁移学习的印刷标签缺陷检测方法及系统。

背景技术：

1、印刷标签是现代商品标识的一种重要方式。它是指在产品包装或物品表面上印制的含有商品信息的标签。印刷标签在商品生产与销售中扮演着重要的角色，它可以让消费者更好地了解商品的信息，提高商品的知名度和销售量。

2、印刷标签在实际的生产过程中会因为人工或者印刷机器故障等原因而产生各种各样的缺陷，如印刷颜色偏浅、脏点、色差、印刷内容缺失、印刷不实、断线、拉花、色彩不均、印刷材料不良等。这些缺陷一旦出现在产品包装上，产品视觉观感将大打折扣，严重影响产品的品牌、降低客户满意度。所以印刷标签的缺陷检测对质量控制至关重要。印刷标签的早期缺陷检测主要依靠人工检测，而对于一个工厂来说，每天都将有成千上万的印刷标签需要检测，该方法存在人工支出开销大、误检率高的弊端，严重制约了企业竞争力的提高，用自动化质量检测设备代替人工是必然趋势。

3、目前，市场中已经出现了许多基于机器视觉的工业印刷标签的自动化质量检测方法。这些方法可以大致分为传统方法和深度学习方法。传统方法包括模板匹配、图像减法以及相似度度量方法。这些方法在未见缺陷上具有一定的泛化能力，但这些方法都过于依赖精确的标签模板。基于深度学习的方法包括图像分类、目标检测和分割网络。但是这些方法依赖庞大的数据集，而且对未见缺陷以及低对比度缺陷的检测精度较低。

4、通过上述分析，现有技术存在的问题及缺陷为：

5、(1)传统检测方法对图像失真、伪影非常敏感，往往导致较多的识别错误。而且在复杂光照、微小缺陷等场景下，传统方法也展现了很大的局限性。

6、(2)现有的深度学习方法对未见缺陷以及低对比度缺陷具有较差的泛化能力。

技术实现思路

1、针对现有技术存在的问题，本发明提供了一种基于迁移学习的印刷标签缺陷检测方法及系统。

2、本发明是这样实现的，一种基于迁移学习的印刷标签缺陷检测方法，所述基于迁移学习的印刷标签缺陷检测方法包括：

3、步骤一，收集源域数据集以及印刷标签数据集；

4、步骤二，对数据集进行预处理，将数据集中的无缺陷图像以及相应的有缺陷图像进行图像配准，并使用labelimg软件打上对应的标签；

5、步骤三，孪生网络的构建与训练，将源域数据集中的无缺陷图像以及相应的有缺陷图像以图像对的形式送入改进的孪生网络中训练；

6、步骤四，迁移学习，利用目标域数据集完成迁移学习。

7、进一步，所述步骤二中采用的图像配准方法为相位相关法：

8、假设f2(x,y)和f1(x,y)是两幅图像，且这两幅图像存在刚性平移，则满足：

9、f2(x,y)＝f1(x-δx,y-δy)

10、将其反映到频域当中，其形式为：

11、f2(u,v)＝f1(u,v)e-i*2π*(u*δx+v*δy)

12、可得到互功率谱，其形式为：

13、h(u,v)＝e-i*2π*(u*δx+v*δy)

14、通过求取互功率谱的傅立叶反变换，得到一个狄拉克函数(脉冲函数),再寻找函数峰值点对应的坐标，即可得到配准点。使用labelimg软件打上对应的标签，有缺陷为1，无缺陷为0。将无缺陷的图像与有缺陷的图像组成图像对，再将源域数据集以9：1的比例设置训练集及验证集，将目标域数据集以8：1：1的比例设置训练集、验证集以及测试集。

15、进一步，所述步骤三中改进孪生网络的过程为：

16、孪生神经网络的一对输入经过同一卷积神经网络后，最后一个卷积层中的高维向量展开为单个向量，接着是一个全连接层。然后根据前一个全连接层的输出计算诱导距离，最后使用激活函数进行预测。对于传统孪生网络，输出可以表示为：

17、output＝sigmoid(|h(x1)-h(x2)|)

18、式中：x1，x2表示输入的图像对，h(x1)和h(x2)表示输入经过卷积神经网络所提取到的特征向量，sigmoid表示激活函数

19、在网络架构中引入多层差分模块来解决低对比度缺陷的特征在下采样过程当中丢失的问题，表示为：

20、fi＝|hi(x1)-hi(x2)|

21、式中：hi(x1)和hi(x2)表示一对输入经过网络中第i个卷积层所得到的特征向量，fi表示在第i个卷积层后所得到的差分特征。

22、进一步，对于不同层提取到的差分特征引入一个多尺度特征提取模块，采用不同大小的卷积核对差分特征进行处理，再通过上采样将不同的层的差分特征调整到同一高度，最后相加得到融合特征，网络输出可表示为：

23、f＝conv7x7(f1)+conv5x5(f2)+conv3x3(f3)

24、式中：conv7x7，conv5x5，conv3x3分别代表卷积核大小为7，5，3的卷积层，f表示输出的融合特征。以上的每个卷积操作之后都使用了归一化操作以及relu激活函数。

25、进一步，采用triplet loss作为网络架构的损失函数，每次从训练集中选择3张图片完成一次训练。首先从训练集中随机选择一张图片，记作锚点。然后从这张图片所属类中随机抽取一张图片，记作正样本。最后从其他类中随机抽取一张图片，记作负样本。把3张图片输入到孪生网络中提取特征，得到3个特征向量。计算锚点和正样本在特征空间中的距离d+以及锚点和负样本在特征空间中的距离d-，表示为：

26、

27、

28、loss＝max(0,d++σ-d-)

29、式中：f(x+)，f(xa)，f(x-)分别表示正样本、锚点图像、负样本在特征空间的特征向量。

30、进一步，所述步骤四迁移学习的过程为：

31、对上述改进的孪生网络的全连接层进行删除操作，更改网络结构只保留网络结构中的特征提取模块；

32、引入知识迁移模块，用于源领域向目标领域的知识迁移，表示为：

33、tl(f)＝βσ(w·f+b)

34、式中：tl(f)表示模块输出，β表示输出层权值参数，w表示输入层到隐藏层的权值参数，b表示隐藏层的偏移参数，σ表示隐藏层的激活函数。

35、模块中输入层和隐藏层之间的参数(w,b)是随机设置的，而不是经过训练的。隐藏层和输出层之间的权重向量β是唯一被训练的参数，可以使用最小二乘策略快速估计，将目标领域数据集，即印刷标签数据送入网络中进行训练，训练过程表示为：

36、βσ(w·f+b)＝l

37、式中：l表示数据集的标签。

38、本发明的另一目的在于提供一种基于迁移学习的印刷标签缺陷检测系统，所述基于迁移学习的印刷标签缺陷检测系统包括：

39、预训练模块，用于将源域任务训练集样本输入到未经训练的孪生网络模型中进行预训练，更新网络参数，直到网络收敛；

40、知识迁移模块，用于将目标域任务训练集样本输入到已用源域数据集训练过的网络模型中，让孪生网络模型快速收敛到新的任务中，从而得到适用于印刷标签缺陷检测的网络模型。

41、本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述基于迁移学习的印刷标签缺陷检测方法的步骤。

42、本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述基于迁移学习的印刷标签缺陷检测方法的步骤。

43、本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于实现所述基于迁移学习的印刷标签缺陷检测系统。

44、结合上述的技术方案和解决的技术问题，本发明所要保护的技术方案所具备的优点及积极效果为：

45、第一、本发明提供了一种基于迁移学习的印刷标签缺陷检测方法及系统，由一个改进的孪生网络与知识迁移模块组成，有效解决了在印刷标签缺陷检测中面临的“小样本”、对未见缺陷及低对比度缺陷检测精度低的问题。相比于现有的印刷标签缺陷检测方法，本发明提出的方法对对未见缺陷及低对比度缺陷检测有着更好的泛化能力。

46、本发明提出了一种基于迁移学习的标签缺陷检测方法，即在孪生网络中引入多尺度差分模块以及知识迁移模块，前者用于解决低对比度缺陷的特征在下采样过程当中丢失的问题，后者解决缺陷标签的小样本问题，并实现印刷标签的在线缺陷检测。

47、第三，作为本发明的权利要求的创造性辅助证据，还体现在以下几个重要方面：

48、(1)本发明的技术方案转化后的预期收益和商业价值为：

49、目前，印刷标签生产企业质量检测智能化水平较低，部分企业虽建设了智能检测装备，但在复杂条件下检测精度较低对复杂缺陷泛化能力较差，且仅能检测部分印刷品质问题。相关研究报告显示78.95％的标签印刷企业表示会在现有的印刷设备上进行升级改造，70.67％的样本企业有意向采购品检机。基于迁移学习的标签缺陷检测方法能实现高精度的标签缺陷检测，避免抽检带来的瑕疵品流出的隐患。该方法可在标签生产企业广泛推广，有很好的市场前景，也将给标签印刷行业带来良好的社会效益：减少印刷纸张等材料浪费，保护环境。根据评估，通过印刷标签智能检测系统可以帮助标签印刷企业减少至少5％的不良品损耗；智能质检是印刷行业中智能制造的关键环节，通过印刷标签智能检测可帮助企业提升50％以上的检测效率，节约大量人力成本，解决标签印刷企业管理滞后，劳动生产率较低的情况。

50、(2)本发明的技术方案填补了国内外业内技术空白：

51、目前，市场中已经出现了许多基于机器视觉的工业印刷标签的自动化质量检测方法。这些方法可以大致分为传统方法和深度学习方法。传统方法包括模板匹配、图像减法以及相似度度量方法。这些方法在未见缺陷上具有一定的泛化能力，但这些方法都过于依赖精确的标签模板。基于深度学习的方法包括图像分类、目标检测和分割网络。这些方法依赖庞大的数据集，而且对未见缺陷以及低对比度缺陷的检测精度较低。本发明创新性地提出了一种基于迁移学习的标签缺陷检测方法，即在孪生网络中引入多尺度差分模块以及知识迁移模块，前者用于解决低对比度缺陷的特征在下采样过程当中丢失的问题，后者解决缺陷标签的小样本问题，并实现印刷标签的在线缺陷检测。

52、(3)本发明的技术方案解决了人们一直渴望解决、但始终未能获得成功的技术难题：

53、市场中已经出现了许多基于机器视觉的工业印刷标签的自动化质量检测方法。这些方法可以大致分为传统方法和深度学习方法。传统方法在未见缺陷上具有一定的泛化能力，但这些方法都过于依赖精确的标签模板，而且，传统检测方法对图像失真、伪影非常敏感，往往导致较多的识别错误。在复杂光照、微小缺陷等场景下，传统方法也展现了很大的局限性。基于深度学习的方法过于依赖庞大的数据集，而且对未见缺陷以及低对比度缺陷的检测精度较低。同时，现有的深度学习方法对未见缺陷以及低对比度缺陷具有较差的泛化能力。为了解决上述难题，本发明的技术方案能够更全面地关注特征差异，强调变化(缺陷)而忽略未改变的特征。并且通过知识迁移来解决“小样本”问题，采用的技术方案能够在样本数量相对较少的情况下训练模型。这种特性在使用大量样本数据训练时能更快地收敛至新任务，并且还允许在线网络更新，因此，该方法能够在工厂流水线上得到很好的落地应用。

54、第四，基于迁移学习的印刷标签缺陷检测方法的技术进步主要体现在以下几个方面：

55、1.提高检测效率与准确性：通过迁移学习，该方法能够利用在源域(如其他相似类型的图像数据集)上学到的知识，快速适应并应用于目标域(即印刷标签数据集)。这避免了从零开始训练模型的需要，从而显著提高了检测效率。同时，由于迁移学习能够利用大量源域数据中的信息，这也有助于提高检测准确性。

56、2.解决数据不足问题：在实际应用中，收集大量带有标签的印刷标签缺陷数据非常困难且成本高昂。迁移学习允许我们使用来自其他相似领域的标注数据来训练模型，从而缓解目标域数据不足的问题。

57、3.适应多种缺陷类型：该方法能够处理多种类型的印刷标签缺陷，因为孪生网络结构的设计使其能够学习到不同缺陷之间的共同特征。这意味着该方法具有很高的灵活性，能够适应多种不同的印刷工艺和缺陷类型。

58、4.自动化与智能化：通过自动化地处理图像数据并识别缺陷，该方法显著减少了人工干预的需要，提高了生产过程的自动化水平。此外，该方法还可以为印刷行业提供智能化的缺陷检测解决方案，有助于实现生产过程的优化和控制。

59、基于迁移学习的印刷标签缺陷检测方法在提高检测效率、准确性、适应多种缺陷类型以及实现自动化与智能化方面取得了显著的技术进步。