一种基于目标检测的外包装拉线检测方法和系统与流程

本发明涉及生成过程中产品外包装的外观检测，更具体地，涉及一种基于人工智能的香烟条盒外观检测系统和装置。

背景技术：

1、在卷烟生产中，香烟条盒包装机负责使用纸盒将卷烟小包封装到条包中，并在纸盒外面使用透明纸塑封，为方便用户拆包，会在透明纸上压上“拉线”以及在“拉线”的一端制作半圆形的“提耳”，用户可以提起“提耳”拆除透明纸。但在纸盒和透明纸包装过程中，会存在露白、盒皮反折、破损、透明纸褶皱、透明纸破损、拉线缺失或者拉线错牙等缺陷，此类产品流入市场会引起客户投诉，造成a类质量事故。目前市场上已有香烟条盒外观检测系统大多采用传统的机器视觉检测算法，比如采用颜色检测和模板匹配来检测外包装的破损异常和透明纸的褶皱异常，采用圆检测和直线检测来确定拉线和提耳的位置，并通过位置计算来识别是否有错牙缺陷等。但是由于不同牌号的包装外部特征差异较大、缺陷无法提前预知、光照变化等因素，导致误检较高，实际使用效果不是很理想。同时传统算法的参数配置和调整过于复杂，并且每台包装机、每个品牌都用不同的外部特征和缺陷倾向，需要有针对性的调整和配置，用户使用起来非常不方便。

2、基于机器学习的机器视觉计算是近年来的成熟技术，特别是深度神经元网络的发展以及硬件算力的提升，使人工智能图像分析得到了很多实际的应用。目标检测算法是通过对大量待检目标样本的标注和训练，通过深度神经元网络进行自主学习和参数调整得到最理想的模型文件，进而在被检测图像中找到待签目标。异常检测算法是通过对正常的待检测图像进行正样本训练，通过深度神经元网络进行自动学习和调测，得到这些正样本图像的共同特征模型文件，包括了神经元网络参数和特征抽象，推理过程中，使用待测图片通过模型文件的神经元完了参数经过网络推理提取特征与模型中的特征抽象进行比对，得到异常得分和异常区域。

技术实现思路

1、为了解决上述现有技术所述的无法在快速响应的前提下可靠检测条盒外观以及透明拉线缺失或拉线错牙的缺陷，本发明提出一种基于人工智能的条盒外观检测装置，该装置首先能够利用光照特性将透明拉线微弱的特征增强为明显的特征，利用异常检测算法技术和目标检测算法技术，进而能够稳定可靠地检测透明拉线缺失或错牙，同时结果反馈的时间控制在要求的范围之内。本发明提供如下技术方案：

2、一种基于人工智能的条盒外观检测装置，包括补光设备(d1)、图像采集设备(d2)、控制设备(d3)和剔除设备(d4)。参见图1所示。

3、所述补光设备(d1)包括用于照射透明拉线的拉线补光设备，以及用于照射透明纸和其他外部面的补光设备；

4、所述拉线补光设备包括与透明拉线平行设置的灯条和柱状透镜，所述灯条发出的光经所述柱状透镜汇聚后形成具有一定宽度的平行光并照射透明拉线；所述灯条包括个数为三的倍数的呈线性排列的灯珠，所述灯珠发光颜色为蓝、白或红中的一种，相邻的三个灯珠发光颜色互不相同；

5、所述图像采集设备(d2)包括用于拍摄透明拉线的拉线图像采集设备以及用于拍摄条盒烟长方体其他外部面的普通外观图像采集设备；根据被检测对象的形状特征，可能装置内可能配置多个图像采集设备(d2)；

6、优选的，根据卷烟包装生产线的条盒包装形状和拉线的位置，参见图2所示配置8个图像采集设备，用于采集条盒包装外观的图片信息，其中d2-1为拉线图像采集设备，如图8为拉线位置采集设备采集到的图像示意；d2-2～d2-8为普通外观图像采集设备；

7、所述控制设备(d3)可以采用本领域常规的具有中央处理器和图形处理器的服务器、工控机等以及相应的外部控制电路或者plc逻辑控制器，控制设备(d3)与所述图像采集设备(d2)网络连接，控制图像采集设备(d2)拍照并且将所得的图像传入控制设备(d3)，同时控制设备(d3)与所述补光设备(d1)弱电连接，在拍照的同时控制补光设备(d1)提供合适的光照条件；

8、所述剔除设备(d4)与控制设备(d3)弱电连接，当控制设备(d3)对待检测对象判定为“缺陷”后，剔除设备(d4)将该对象从生产线上剔除。

9、一种基于人工智能的条盒外观检测系统，运行在所述控制设备(d3)中，包括推理子系统(u1)、外部信号控制子系统(u2)、显示子系统(u3)、标注子系统(u4)、训练子系统(u5)。

10、所述推理子系统(u1)与外部信号控制子系统(u2)、显示子系统(u3)、训练子系统(u5)网络连接，负责对收到的待检测对象的检测面图像分析推理，得到推理结果并给用户显示。包含图像传输单元(u101)、异常检测算法单元(u102)、拉线检测算法单元(u103)、结果综合单元(u104)；

11、所述图像传输单元(u101)与所述图像采集设备(d2)相连，接收图像采集设备(d2)传过来的待检对象的检测面图像，分别送给异常检测算法单元(u102)和拉线检测算法单元(u103)进行推理，推理完成后送给显示子系统(u3)展示推理结果；

12、所述异常检测算法单元(u102)接收到所述图像传输单元(u101)的图片后，基于使用深度学习网络技术训练得到的异常检测模型进行推理，输出针对输入图像的异常检测判断结果；

13、所述拉线检测算法单元(u103)收到所述图像传输单元(u101)图像后，基于使用深度学习网络技术训练得到的目标检测模型进行推理，输出针对输入图像的拉线检测判断结果；

14、所述结果综合单元(u104)收集异常检测算法单元(u102)、拉线检测算法单元(u103)针对图像的判定结果并汇总计算，输出针对被检对象的判定结果；

15、所述外部信号控制子系统(u2)，与所述图像采集设备(d2)和补光设备(d1)弱电连接，控制图像采集设备(d2)拍照以及补光设备(d1)在拍照时的补光；与推理子系统(u1)的结果综合单元(u104)通信获取对象的判断结果；与所述剔除设备(d4)弱电连接，如果判定为“缺陷”，则通知剔除设备(d4)执行剔除动作。

16、所述显示子系统(u3)，与所述推理子系统(u1)相连，从图像传输单元(u101)获取图像信息，以及从结果综合单元(u104)获取推理结果信息，相结合后展示出来。

17、所述标注子系统(u4)，用于上传的素材图片，并可以在素材上进行标注，得到用于算法训练的训练集。

18、优选的，通过所述标注子系统(u4)上传异常检测算法训练过程所需的素材图片，产生异常检测训练集；同样地，上传目标检测算法训练过程所需的素材图片，在这些素材图片上对被检测目标进行标注操作，产生目标检测训练集。

19、所述训练子系统(u5)与标注子系统(u4)连接，获取到算法的训练集后，采用深度学习网络进行模型训练，生成算法模型文件；同时与推理子系统(u1)连接，将生成的算法模型文件送给推理子系统(u1)的算法单元进行推理计算。

20、优选的，在本发明中，分别对异常检测算法和目标检测算法的训练集后，得到异常检测算法模型文件和目标检测算法模型文件；之后将模型分别送给的异常检测算法单元(u102)和拉线检测算法单元(u103)进行推理计算。

21、一种外包装质量检测的方法，包括：

22、步骤s10100，当待检对象经过装置时，外部信号控制子系统(u2)感知后，控制图像采集设备(d2)拍照采集图像，同时控制补光设备(d1)进行补光。

23、对于拉线位置的补光设备，点亮蓝色灯珠，增加塑封纸截断面的折射光强度，从而突出“拉线”和“提耳”的光学特征；对于其他位置的补光设备，点亮白色灯珠，加强外包装各种可见光的光学特征。拉线位置的图像示意图如图8所示。

24、步骤s10200，图像传输单元(u101)从图像采集设备处获取图像，分发给异常检测算法单元(u102)和拉线检测算法单元(u103)进行推理处理。

25、优选地，从d1-1～d1-8获取的图像分发给异常检测算法单元，从d1-1获取的图像分发给拉线检测算法单元。

26、步骤s10300，拉线检测算法单元(u104)对被检对象拉线位置的图片进行处理。

27、步骤s10400，异常检测算法单元(u103)对被检对象需要进行异常检测的位置的图片进行处理。

28、步骤s10500，结果综合单元(u104)汇总同一个图像的多个算法的判定结果，给出针对图像的判定结果。采用“或”策略，只要其中有一个算法判定为“缺陷”，则将该图像判定为“缺陷”；

29、步骤s10600，结果综合单元(u104)汇总同一个被检对象的多个图像的判定结果，给出针对被检对象的综合结果。采用“或”策略，只要其中有一张图像判定为“缺陷”，则将该对象判定为“缺陷”；

30、步骤s10700，如果结果综合单元(u104)判定该对象判定为“缺陷”，则通过外部信号控制子系统(u2)控制剔除设备(d4)从生产线上剔除该对象实体；

31、所述拉线检测算法过程(步骤s10300)，包括：

32、步骤s10301，加载训练子系统(u5)生成的拉线检测模型。

33、拉线检测模型ml＝net(神经元网络参数组)+(f1+f2+…+fm)+c

34、其中：

35、net：表示神经元网络结构及相应的参数，网络结构相应的参数可通过训练以及损失函数的评估自动得到最优参数组合；

36、f：表示被检目标的综合特性向量，优选的，本发明中根据实际烟盒的拉线特征，选择两个被检目标，即有两个特征向量，f1为“上提耳”的特征向量，如图9中t2所示意位置，f2为“下提耳”的特征向量，如图9中t1所示意位置。

37、实际生产过程中，还可以设置f1为“上拉线”的特征向量，如图9中的t3所示意位置，f2为“下提耳”的特征向量；或者由于“上提耳”与“下提耳”特征近似，f1与f2合并，只保留一个特征向量，找两个备选目标。

38、c：表示根据实际场景和经验积累设置的独立于训练之外的超参数。

39、一般的，由于每次图片的推理都需要使用该模型，可以在拉线检测算法单元(u103)启动时一次性加载，以提升算法推理速度。

40、步骤s10302，对输入图像使用模型中的神经元网络及相应的参数进行计算，找到得到类别f1备选目标序列和类别f2备选目标序列。

41、类别f1备选目标序列q1＝[{a11,s11},{a 12,s12},...{a 1m,s1m}]

42、类别f2备选目标序列q2＝[{a 21,s21},{a 22,s22},...{a 2n,s2n}]

43、其中:

44、a 11～a1m为类别f1的m个备选目标的位置信息，使用图像坐标系下目标矩形框的左上角点坐标和右下点坐标表示。

45、s11～s1m为f1中每个备选目标对应的置信度得分

46、a 21～a 2n为类别f2的n个备选目标的位置信息；

47、s21～s2n为f2中每个备选目标对应的置信度得分

48、步骤s10303，分别使用类别1置信度阈值c1和类别2置信度阈值c2，对两个类别备选目标进行判断，保留超过阈值的目标。

49、if s1x>＝c1 then add{a1x,s1x}to resq1

50、if s2x>＝c2 then add{a2x,s2x}to resq2

51、最终得到被检目标1的特征序列resq1和被检目标2的特征序列resq2。

52、步骤s10304，分别获取被检目标1和被检目标2的特性序列数量。

53、n1＝len(resq1)；n2＝len(resq2)

54、步骤s10305，根据拉线检测的特征，被检目标1和被检目标2都有且只有一个才是正常的。所以，如果n1<>1or n2<>1时，将该图像判定为“缺陷”。

55、步骤s10306，如果n1＝n2＝1，则说明两个被检目标都被检测到，分别取得a11和a21，分别获取两个被检目标矩形框的中心点的x坐标：

56、o1.x＝(|a11.x1–a11.x2|+min(a11.x1,a11.x2))

57、o2.x＝(|a21.x1–a21.x2|+min(a21.x1,a21.x2))

58、步骤s10307，计算两个被检目标框中心点在x方向的距离dx＝|o1.x–o2.x|。

59、步骤s10308，将计算得到的dx与预先设置的错牙阈值d0进行比较，如果dx>d0，则图像判定为“缺陷”，如图10示意。

60、步骤s10309，如果dx<＝d0，则图像判定为“正常”。

61、所述异常检测算法过程(步骤s10400)，包括：

62、步骤s10401，加载训练子系统(u5)生成的异常检测模型。

63、异常检测模型my＝net(神经元网络参数组)+f+c

64、其中：

65、net：表示神经元网络结构及相应的参数，网络结构相应的参数可通过训练以及损失函数的评估自动得到最优参数组合；

66、f：表示被检的正确图像的综合特性向量。

67、c：表示根据实际场景和经验积累设置的独立于训练之外的超参数。

68、一般的，由于每次图片的推理都需要使用该模型，可以在异常检测算法单元(u104)启动时一次性加载，以提升算法推理速度。

69、步骤s10402，对输入图像使用模型中的神经元网络及相应的参数进行计算，提取被检测图像的特征向量fx

70、步骤s10403，将得到的fx与模型my中的特性向量f进行比对，得到异常得分sx以及异常区域列表ax。

71、步骤s10404，使用图像的异常得分sx与预先设置的异常得分阈值s0进行比较。

72、步骤s10405，如果sx<s0，则将该图像判定为“正常”。

73、步骤s10406，如果sx>＝s0，则将该图像判定为“缺陷”，并记录异常区域列表ax。

74、所述目标检测模型的生成方法，包括：

75、步骤s20100，选择实际检测图像作为训练素材，上传到标注子系统(u4)

76、步骤s20200，标注出素材图像中的待检目标区域和待检目标类型。标注时确定标注信息二元组{目标x，目标框在图像坐标系的位置}。

77、其中目标框在图像坐标系的位置采用矩形框的左上和右下两个点的坐标表示：points：[{x1,y1},{x2,y2}]。

78、本发明中，需要根据实际烟盒的拉线特征，选择两个被检目标。

79、优选的，目标1为“上提耳”，如图9中t2所示意位置，目标2为“下提耳”，如图9中t1所示意位置。

80、实际生产过程中，还可以设置目标1为“上拉线”，如图9中的t3所示意位置，目标2为“下提耳”；或者由于“上提耳”与“下提耳”特征近似，目标1和目标2合并，只保留一个目标。

81、步骤s20300，练子系统(u5)开始进行拉线检测参数进行训练，得到拉线检测算法模型。

82、步骤s20400，训练子系统(u5)将得到的拉线检测算法模型文件ml发送给推理子系统(u1)。

83、所述拉线检测算法训练及模型生成的具体过程，包括：

84、步骤s20301，将步骤s20200标注好的素材图像集合，按比例分为训练集s-train、测试集s-test、验证集s-verify，并发送给训练子系统(u5)。

85、步骤s20302，随机产生神经元网络的初始的参数组，根据经验确定一组初始的超参数组。

86、步骤s20303，训练子系统(u5)使用神经元网络及参数组对训练集s-train进行推理，得到目标检测结果

87、步骤s20304，将算法推理结果以及实际标注结果使用损失函数进行计算，得到损失值以及损失函数的梯度下降方向。

88、步骤s20305，设定训练停止条件，如果损失值没有达到停止条件，则算法自动向梯度下降方向调整参数组，调整后继续执行步骤s20303。

89、步骤s20306，如果损失值已经达到停止条件，找到了当前训练条件下的极优解，则停止自动尝试参数组的训练循环，并使用测试集s-test进行推理，得到损失值

90、步骤s20307，判断此时的损失值是否满足检测要求，如果不满足，则调整超参数组，执行步骤s20303，重新进行自动尝试参数组的训练循环。

91、步骤s20308，如果判定满足检测要求，则停止参数组及超参数组的调整过程，使用验证集s-verify进行推理得到损失值，验证超参数组及参数组的泛化性。

92、步骤s20309，如果使用验证集s-verify得到的损失值与训练集s-train、测试集s-test得到的结果一致，则将网络参数组、超参数组及待检目标特征向量写入模型文件中。

93、拉线检测模型ml＝net(神经元网络参数组)+(f1+f2+…+fm)+c

94、所述异常检测模型的生成方法，与目标检测模型的生产方法类似，有两点区别：

95、1、由于异常检测属于正样本训练，不需要步骤s20200对素材图像进行标注。

96、2、步骤s20304，使用损失函数计算算法推理结果和素材原图之间的损失值。

97、3、步骤s20309得到异常检测模型：my＝net(神经元网络参数组)+f+

98、c，异常检测模型不需要包含多组待检目标特征向量，需要包含正样本特征向量。

99、对于本领域普通技术人员可以获得，在此不进一步详细描述。