用于检查吸烟制品的方法和系统与流程

本发明涉及一种用于检查吸烟制品的方法和系统。

背景技术：

1、在吸烟制品(例如香烟和加热不燃烧(heat-not-burn，hnb)装置)的领域中，需要对各个制品进行质量检查。实际上，制作吸烟制品的自动机器有时产生有缺陷的吸烟制品。特别地，存在包括放置在包材中的主体的吸烟制品，其中主体必须位于预定位置；在这种情况下，缺陷可能是对象的不正确定位的结果。例如，一些香烟具有过滤嘴，该过滤嘴包括其横截面呈弯曲对象形式的对象，如以本技术人的名义的专利文献wo2020128827a1中所描述的，其中该对象在附图中被标记2。在另一示例中，hnb装置包括具有圆形横截面的对象，如专利文献wo2012016795a1中所描述的，其中该对象在附图中被标记6。

2、在此背景下，用于制作吸烟制品的自动机器可以被提供有如现有技术中例如从以本技术人的名义的专利文献ep3520631a1已知的检查系统。

3、在以下现有技术文献中描述了用于检查吸烟制品的方法的示例：wo2018185722a1、cn111972700a、ep3476228a1、itbo20080755a1和ep3067823a1。此外，参考用于生产吸烟制品的组装设备，现有技术例如提供了文献de102014203158a1和ep0653170a1中描述的解决方案。

4、然而，仍然需要在对吸烟制品进行检查方面特别有效、可靠且快速的系统。特别地，将希望这样的系统允许在生产期间、在过程中执行可靠的质量检查。

技术实现思路

1、本发明的目的是提供一种用于检查吸烟制品以克服现有技术的上述缺点的方法和系统。

2、该目的通过如所附权利要求中表征的根据本发明的方法和系统来完全实现。

3、根据本公开的一个方面，本公开提供了一种用于检查吸烟制品的方法。每个吸烟制品包括沿着纵向轴线延伸的细长管状包材、包裹在包材中的填充材料和在预定位置处嵌入在填充材料中的细长主体。

4、该方法包括捕获吸烟制品或其一部分的图像的步骤。该图像沿着光学路径进行观察，其中的光学路径沿着纵向轴线取向。

5、该方法包括将图像馈送到机器学习模型的步骤。机器学习模型被训练为识别图像中的所述主体。该步骤由处理器执行。

6、这允许机器(至少)检查填充材料内部的主体的存在。

7、优选地，机器学习模型被训练生成每个图像的定位数据。定位数据表示主体相对于管状包材的位置。定位数据表示界定图像中表示的对象的平面几何图形。这样，除了检查填充材料内部的主体的存在之外，还可以识别其相对于包材的位置。

8、该方法包括通过处理器基于表示主体的预定位置的参考数据来处理定位数据的步骤；例如，处理包括通过处理器执行的将定位数据与表示主体的预定位置的参考数据进行比较的步骤。

9、因此，处理器可以检查主体相对于预定位置有效地定位在可接受的位置处。例如，处理器访问识别从定位数据确定的主体的位置与预定位置之间的最大偏差值的偏差值。

10、在实施例中，机器学习模型包括深度神经网络。在实施例中，神经网络是卷积神经网络。

11、神经网络可以包括最大池化类型的一个或多个过滤级。

12、机器学习模型通过馈送多个示例图像的步骤来训练。对于每个图像，机器学习模型通过馈送表示界定图像中表示的对象的平面几何图形的定位目标数据的步骤来训练。

13、示例包括在对象被正确定位的情况下的半成品吸烟制品的第一多个图像。在实施例中，示例包括在对象根据预定定位缺陷的选择被不正确定位情况下的半成品吸烟制品的第二多个图像。

14、该方法包括通过控制单元执行的确定识别图像中的对象的肯定或否定识别结果的步骤。识别的步骤由机器学习模型执行。在否定识别结果的情况下，该方法包括通过控制单元执行的生成用于拒绝吸烟制品的信息的步骤。在肯定识别结果的情况下，该方法包括开始将定位数据与表示主体的预定位置的参考数据进行比较的步骤的步骤。接下来，该方法包括响应于比较而生成用于拒绝或批准吸烟制品的信息。这允许首先拒绝没有主体的制品，并且其次，在主体存在的情况下，拒绝主体被不正确定位在其中的制品。

15、在实施例中，该方法包括针对所捕获的每个图像光学地检查包材的步骤。该方法包括生成表示检查包材的结果的包材数据的步骤。

16、该方法包括将包材数据与表示包材的预定规格的参考包材数据进行比较的步骤。该方法包括分别响应于比较的步骤的(i)否定结果或(ii)肯定结果而生成(i)用于拒绝或(ii)继续馈送的步骤的信息的步骤。

17、这样，该方法包括对吸烟制品的全面检查，这还包括检查包材。

18、根据一个方面，该方法是一种用于逐一检查吸烟制品的方法。换句话说，该方法包括捕获每个单独吸烟制品的图像。优选地，该方法包括将单独吸烟制品定位在检查装置瞄准的检查区中以便捕获其图像的步骤。在该方法的实施例中，利用恒定的照明参数照亮检查区，以允许均匀地照亮吸烟制品。此外，检查区的照明参数与用于捕获多个示例图像的照明参数相同。在该方法的实施例中，吸烟制品以相对于检查装置的相同取向定位在检查区中。此外，在多个示例图像中被取景的吸烟制品具有与在生产过程期间检查的吸烟制品相同的取向。

19、所捕获的图像与示例图像之间的照明和定位的均匀性显著增强利用机器学习模型进行检查的可靠性。如果不是单独检查而是分组检查，则这是不可能的，因为每个吸烟物品都具有它自己相对于检查装置的位置。

20、在实施例中，检查装置与将吸烟制品(或半成品或用于构成吸烟制品的部件)传送进或传送出检查区的传送器同步。优选地，吸烟制品(或半成品或用于构成吸烟制品的部件)以有序的方式逐一传送；优选地，它们以其取向是预定的并且是系统已知的这种方式被传送到检查站中。这增加了检查精度，并且有助于用于识别缺陷或用于质量控制的机器学习模型的训练。此外，对于所检查的每个吸烟制品，控制单元知道检查的结果。因此，控制单元能够控制拒绝装置拒绝单个有缺陷的烟制品。

21、应注意，使吸烟制品独立还有助于拒绝操作。实际上，在成组检查吸烟制品的解决方案中，识别单个有缺陷的吸烟制品不仅更困难，而且拒绝它也更复杂，因为：(i)它必须被回顾性地独立出来或(ii)由于存在单个有缺陷的制品而必须拒绝多个吸烟制品。

22、在至少一个示例实施例中，吸烟制品或其一部分作为单个物品沿着生产吸烟制品的设备(在一个示例中，该设备是组装设备，但是出于本公开关于检查系统和图像处理模式的这个和其他方面的目的，该设备可以是不同类型的设备)内的预定路径单独移动。至少一个检查级(例如，第一检查级或第一和第二检查级)沿着预定路径定位。检查级包括至少一个照明器和一个相机。优选地，也如上面所解释的，吸烟制品或其部分沿着预定路径逐一移动；此外，优选地，吸烟制品或其部分以在检查级中它们具有预定取向(系统已知相对于相机的光学路径；例如，吸烟制品或其部分被取向为使得它们与相机对齐)的这种方式沿着预定路径移动。

23、在示例中，在捕获图像的步骤期间，单独地观察和拍摄沿着预定路径移动的吸烟制品或其部分中的每一个(即，成为图像捕获的对象)；这样，每个图像与单个吸烟制品或其一部分有关。

24、关于机器学习模型，应当注意，机器学习模型优选地通过向它馈送多个示例图像来训练，每个示例图像与单个吸烟制品或其一部分有关。此外，机器学习模型也可以通过向它馈送目标数据来训练(在这种情况下，学习是有监督的)；替代地，不向它馈送目标数据(在这种情况下，学习是无监督的)。

25、在示例中，包含在非瞬态数据存储设备中的机器可读指令为对于流动中的每个吸烟制品或其一部分，使得处理器进行如下处理：

26、-通过至少一个检查级(例如，通过第一和第二检查级)捕获沿着具有预定取向的路径观察的吸烟制品或其一部分的多个图像；

27、-将多个图像馈送到机器学习模型。

28、机器学习模型被训练为识别吸烟制品或其一部分的缺陷的预定类别。在示例中，缺陷的类别与位于吸烟制品中的(在预定位置处的)主体的不存在或位置有关。然而，机器学习模型可以被训练为辨识其他类型的缺陷，诸如(纯粹作为示例)污渍或杂质的存在或与吸烟制品或其一部分的预定(参考)形状不同的形状。

29、根据本公开的一个方面，本公开提供了一种计算机程序，包括在由处理器执行的情况下用于执行本公开中描述的方法的步骤的指令。

30、根据本公开的一个方面，本公开提供了一种用于检查吸烟制品的检查系统，该吸烟制品包括沿着纵向轴线延伸的细长管状包材、包裹在包材中的填充材料和在预定位置处嵌入在填充材料中的细长主体。该系统包括处理器和包括机器可读指令的非瞬态数据存储设备。机器可读指令告诉处理器捕获沿着光学路径观察的吸烟制品或其一部分的图像，其中的光学路径沿着纵向轴线取向。机器可读指令告诉处理器将图像馈送到机器学习模型，该机器学习模型被训练为识别图像中的主体。

31、非瞬态数据存储设备包括告诉处理器处理图像以针对每个图像生成表示界定图像中表示的主体的平面几何图形的定位数据的另外指令。

32、非瞬态数据存储设备包括告诉处理器将定位数据与表示主体的预定位置的参考数据进行比较的另外指令。

33、指令告诉处理器确定由机器学习模型执行的识别图像中的对象的肯定或否定结果。指令告诉处理器在否定识别结果的情况下，生成用于拒绝吸烟制品的信息。指令告诉处理器在肯定识别结果的情况下，将定位数据与表示主体的预定位置的参考数据进行比较，并且响应于比较而生成用于拒绝或批准吸烟制品的信息。

34、在实施例中，机器学习模型包括深度神经网络。深度神经网络可以是卷积深度神经网络。深度神经网络可以包括最大池化类型的一个或多个过滤级。

35、根据本公开的一个方面，本公开提供了一种用于连续循环生产吸烟制品的设备，其中每个吸烟制品包括沿着纵向轴线延伸的细长管状包材、包裹在包材中的填充材料以及在预定位置处嵌入在填充材料中的细长主体。该设备包括根据本公开中描述的任何特征的检查装置。

36、根据本公开的一个方面，本公开提供了一种用于检查吸烟制品的方法，其中每个吸烟制品包括放置在吸烟制品内部的预定位置处的主体。该方法适用在由通过从初始处理级到最终处理级的一系列处理级、以连续循环方式生产吸烟制品的设备执行的操作的背景下。

37、该方法包括捕获由介于初始处理级与最终处理级之间的处理级处的机器生成的半成品的图像的步骤。

38、该方法包括通过控制单元执行的将图像馈送到被训练为识别图像中的主体的机器学习模型的步骤。

39、根据本公开的一个方面，本公开提供了一种用于生产多部件吸烟制品的组装设备。每个吸烟制品包括限定相应的中心轴线的多个杆区段。多个杆区段包括被提供有调味元素的第一杆区段和第二杆区段。

40、该组装设备包括组合单元。组合单元被配置为制作杆区段组，每个杆区段组至少包括第一杆区段和第二杆区段。第一杆区段和第二杆区段彼此轴向对齐。第一杆区段和第二杆区段端对端地抵接。

41、杆区段组垂直于其中心轴线前进。第一杆区段从多个杆获得，每个杆具有沿着杆轴线间隔开的第一端和第二端。

42、组合单元被配置为将相应的第二杆区段耦接到杆的第一端和第二端。组合单元被配置为在分离级中通过横向于杆轴线切割杆而将杆分离成一对部分，以便形成对应的一对杆区段组。每个杆区段组包括杆的相应部分和相应的第二杆区段。

43、组装设备包括包裹单元。包裹单元被配置为从组合单元接收在馈送方向上馈送的一系列杆区段组，垂直于杆区段组的中心轴线馈送杆区段组，并且将包裹材料的片材包裹在每个杆区段组周围。

44、组装设备包括检查系统。

45、检查系统包括第一检验级。第一检查级在馈送方向上位于分离级的上游。第一检查级被配置为轴向地查看每个杆的第一端和第二端。

46、检查系统包括第二检查级。第二检查级在馈送方向上位于分离级的下游。第二检查级被配置为轴向地查看一对杆区段组中的每个杆区段组中的相应的第一杆区段的自由端。

47、在实施例中，组装设备包括间隔级，该间隔级相对于馈送方向介于分离级和第二检查级之间。间隔级被配置为将一对杆区段组中的杆区段组轴向间隔开。

48、组装设备被配置为在分离级和间隔级之间垂直于杆轴线馈送一对杆区段组中的杆区段组。

49、第二检查级包括中心相机，该中心相机轴向地介于一对杆区段组中的杆区段组之间。在实施例中，第二检查级包括另一中心相机，该另一中心相机轴向地介于一对杆区段组中的杆区段组之间。

50、在实施例中，第二检查级包括右侧检查单元，该右侧检查单元包括相对于馈送方向面向右侧的中心相机，以查看一对杆区段组中的一个杆区段组的自由端。

51、在实施例中，第二检查级包括左侧检查单元，该左侧检查单元包括相对于馈送方向面向左侧的另一中心相机，以查看一对杆区段组中的另一个杆区段组的自由端。

52、在优选实施例中，右侧检查单元和左侧检查单元沿着馈送方向偏移。

53、优选地，第一检查级被提供有一对相机。

54、在实施例中，该对相机中的相机具有在相反的会聚方向上取向的相应光学路径。此外，根据本公开的一个方面，第二对相机具有对齐但在相反的会聚方向上取向的相应光学路径。

55、组装设备包括控制单元。控制单元连接到第一检查级和第二检查级以驱动它们。控制单元被提供有处理器和非瞬态数据存储设备，该非瞬态数据存储设备包括告诉处理器通过第一检查级和第二检查级捕获沿着光学路径观察的吸烟制品或其一部分的多个图像的机器可读指令，其中光学路径沿着纵向轴线取向。应注意，吸烟制品包括放置在吸烟制品内部的预定位置处的主体。

56、控制单元被提供有处理器和非瞬态数据存储设备，该非瞬态数据存储设备包括告诉处理器将多个图像馈送到机器学习模型的机器可读指令，该机器学习模型被训练为识别图像中的主体。

57、根据一个方面，本公开提供了一种用于生产吸烟制品(优选地多部件制品)的设备，每个吸烟制品包括能够由设备的至少一个检查站中的光学装置检查并且当吸烟制品完成时对光学装置隐藏的部件。换句话说，本公开涉及其中通过限定可检查半成品的渐进过程来获得吸烟制品的那些设备，这些可检查半成品在完成吸烟制品时无法用光学仪器进行检查。

58、这些设备包括检查系统。检查系统位于设备的对应于可检查半成品的检查站中。

59、设备包括第一处理站，该第一处理站被配置为由过程中部件制作可检查半成品。该设备包括第二处理站，该第二处理站被配置为由可检查半成品制作吸烟制品。

60、检测站沿着设备中的吸烟制品的馈送路径介于第一处理站与第二处理站之间。

61、有利地，该设备包括控制单元。控制单元连接到检查系统以驱动它。控制单元被提供有处理器和包括机器可读指令的非瞬态数据存储设备。

62、控制单元被编程为接收由检查系统捕获的可检查半成品或其一部分的多个图像。例如，这些图像沿着光学路径进行捕获图像，其中的光学路径优选地沿着吸烟制品的纵向轴线取向。仅作为示例，检验系统捕获位于吸烟制品中的预定位置处的主体的图像。然而，检验系统可以被配置为识别吸烟制品在其完成时以其他方式不可见的其它方面，例如在被包裹之前表面上存在污垢或污渍、或在杆区段粘合到另一杆区段之前该杆区段的长度。

63、控制单元被编程为将多个图像馈送到机器学习模型。

64、例如但非必要，机器学习模型被训练为识别图像中的吸烟制品内部的主体。在其他实施例中，例如，它可以识别在被包裹之前表面上的污垢或污渍的存在、或在杆区段粘合到另一个杆区段之前该杆区段的长度。

65、根据一个方面，本公开提供了一种用于生产多部件吸烟制品的组装方法，其中每个吸烟制品包括限定相应中心轴线的多个杆区段，并且其中多个杆区段包括被提供有调味元素的第一杆区段和第二杆区段。

66、该方法包括由组合单元执行的馈送杆的流的步骤，每个杆具有调味元素并且在横向于杆轴线的馈送方向上沿着从第一端到第二端的杆轴线是细长的。

67、该方法包括将相应的第二杆区段耦接到杆的第一端和第二端的步骤。

68、该方法包括在分离级中通过组合单元执行的通过横向于杆轴线切割杆而将杆分离成一对部分以便制作相应的一对杆区段组的步骤。

69、每个杆区段组包括相应的杆部分，相应的杆部分限定沿着中心轴线轴向对齐并且端对端抵接的相应的第一杆区段和相应的第二杆区段。

70、该方法包括通过包裹单元垂直于杆区段组的中心轴线馈送杆区段组的步骤。

71、该方法包括垂直于其中心轴线馈送杆区段组的步骤。

72、该方法包括通过包裹系统将杆区段组包裹在包裹材料的片材中的步骤。

73、该方法包括在馈送方向上位于分离级上游的第一检查级中观察每个杆的第一端和第二端的第一步骤。

74、该方法包括第二步骤：在馈送方向上位于分离级下游的第二检查级中查看一对杆区段组中的每个杆区段组的相应的第一杆区段的自由端。

75、在实施例中，该方法还包括在分离的步骤之后并且在查看的第二步骤之前在轴向方向上使一对杆区段组中的杆区段组间隔开的步骤。

76、根据本公开的一个方面，在间隔的步骤期间，一对杆区段组中的杆区段组也横向于其轴线馈送。

77、在该方法的实施例中，耦接的步骤在分离的步骤之前。

78、在实施例中，查看的第二步骤依次包括以下子步骤：

79、-通过中心相机查看一对杆区段组中的一个杆区段组的自由端；

80、-在馈送方向上馈送杆区段组；

81、-通过另一中心相机查看该对杆区段组中的另一个杆区段组的自由端。

82、在实施例中，吸烟制品包括放置在吸烟制品内部的预定位置处的主体。该方法还包括将在第一检查级和第二检查级中拍摄的图像馈送到被训练为识别每个图像中的主体的机器学习模型的步骤。