用于在线训练辐射图像识别模型的方法、辐射图像识别方法和装置与流程

本公开涉及图像处理，具体涉及一种用于在线训练辐射图像识别模型的方法和装置、辐射图像识别方法和装置、电子设备、计算机可读存储介质和程序产品。

背景技术：

1、辐射成像技术的广泛应用为特异物品识别带来了极大的便利，但快速增加的包裹数量和通过率要求对传统的人工判图产生了巨大压力，迫切需要更为自动化的识别方法。辐射图像智能识别技术应运而生，该技术利用基于深度学习的目标检测方法对采集的辐射图像进行自动识别与报警，大大减轻了人力负担。

2、目前，基于深度学习的辐射图像识别方法在部署到辐射检查现场后，每当用户的需求发生变化时，需要将现场采集的数据回传给辐射图像智能识别系统的开发者，由开发者进行人工标注，基于人工标注的结果进行模型训练，然后将训练好的模型更新到辐射检查现场后，才能进行现场使用，这一套流程实施周期较长、效率较低且无法满足用户(即辐射图像智能识别系统的使用者)对数据保密的需求。而且，在辐射检查现场采集的数据量极大，现有标注方式需要标注全部感兴趣类别的全部物体，标注工作需要的人力较多，且标注效率较低。

3、在本部分中公开的以上信息仅用于对本公开的发明构思的背景的理解，因此，以上信息可包含不构成现有技术的信息。

技术实现思路

1、鉴于上述技术问题中的至少一个方面，提出了一种用于在线训练辐射图像识别模型的方法和装置、辐射图像识别方法和装置、电子设备、计算机可读存储介质和程序产品。

2、在一个方面，提供一种用于在线训练辐射图像识别模型的方法，所述辐射图像识别模型应用于辐射检查系统中，所述辐射检查系统布置在辐射检查现场，所述辐射检查系统中预先存储有预置数据，所述预置数据包括第一辐射图像，所述方法包括：

3、在辐射检查现场采集第二辐射图像；

4、在线标注所述第二辐射图像，以形成带有第二标注信息的现场采集数据，其中，所述第二标注信息为所述第二辐射图像的不完备标注信息，所述第二标注信息用于指示所述第二辐射图像中部分感兴趣对象；

5、在线合成所述预置数据和所述现场采集数据以形成训练数据集；以及

6、利用所述训练数据集在线训练所述辐射图像识别模型。

7、根据一些示例性的实施例，所述预置数据中的第一辐射图像包括如下情况中的至少一个：

8、所述预置数据中的第一辐射图像带有第一标注信息，所述第一标注信息用于指示所述第一辐射图像中全部感兴趣对象；

9、所述预置数据中的第一辐射图像不包括任何感兴趣对象；

10、所述预置数据包括多个第一辐射图像，所述多个第一辐射图像中的一些第一辐射图像带有第一标注信息，所述第一标注信息用于指示所述第一辐射图像中全部感兴趣对象，所述多个第一辐射图像中的一些第一辐射图像不包括任何感兴趣对象。

11、根据一些示例性的实施例，所述在线合成所述预置数据和所述现场采集数据以形成训练数据包括：

12、从所述第二辐射图像中提取所述第二标注信息对应的感兴趣对象；以及

13、将所述第二标注信息以及提取出的感兴趣对象合成到所述预置数据包括的第一辐射图像中，以形成所述训练数据集。

14、根据一些示例性的实施例，所述第一标注信息用于指示所述第一辐射图像中全部类别的全部感兴趣对象。所述第二标注信息用于指示所述第二辐射图像中部分类别的感兴趣对象，或者，所述第二标注信息用于指示所述第二辐射图像中部分类别的部分感兴趣对象。

15、根据一些示例性的实施例，所述第一标注信息包括标注在所述第一辐射图像中的至少一个第一标注框和至少一个第一标签，所述至少一个第一标注框分别用于指示所述第一辐射图像中全部感兴趣对象的位置，所述至少一个第一标签分别用于指示所述第一辐射图像中全部感兴趣对象的类别。

16、根据一些示例性的实施例，所述第二标注信息包括标注在所述第二辐射图像中的至少一个第二标注框和至少一个第二标签，所述至少一个第二标注框分别用于指示所述第二辐射图像中部分感兴趣对象的位置，所述至少一个第二标签分别用于指示所述第二辐射图像中部分感兴趣对象的类别。

17、根据一些示例性的实施例，所述将所述第二标注信息以及提取出的感兴趣对象合成到所述预置数据包括的第一辐射图像中，以形成所述训练数据集，具体包括：

18、将提取出的感兴趣对象插入所述第一辐射图像中，以形成训练用辐射图像；

19、在所述训练用辐射图像中生成第三标注框和第三标签，其中，所述第三标注框根据所述第二标注框生成，所述第三标签与所述第二标签相同，用于指示所述第三标注框包围的感兴趣对象的类别；以及

20、根据带有所述第一标注框、所述第一标签、所述第三标注框和所述第三标签的训练用辐射图像，形成所述训练数据集。

21、根据一些示例性的实施例，所述第一辐射图像包括透明区域和不透明区域，所述将提取出的感兴趣对象插入所述第一辐射图像中，以形成训练用辐射图像，具体包括：

22、从所述第一辐射图像的透明区域中挑选出满足插入要求的区域作为至少一个候选插入区域；

23、根据数据合成规则，从所述至少一个候选插入区域中挑选出一个作为插入区域；以及

24、将提取出的感兴趣对象插入所述插入区域处。

25、根据一些示例性的实施例，所述满足插入要求包括：所述候选插入区域的面积或体积大于等于所述待插入的感兴趣对象的面积或体积。

26、根据一些示例性的实施例，所述数据合成规则包括：在所述第一辐射图像中周围物体对候选插入区域的隐蔽程度符合指定要求。

27、根据一些示例性的实施例，所述方法还包括：

28、根据所述第二辐射图像的不完备标注信息形成所述第二辐射图像的准完备标注信息；以及

29、将带有准完备标注信息的第二辐射图像确定为所述训练数据集的一部分。

30、根据一些示例性的实施例，所述根据所述第二辐射图像的不完备标注信息形成所述第二辐射图像的准完备标注信息，具体包括：

31、检测所述第二辐射图像中未标注的感兴趣对象；

32、计算所述未标注的感兴趣对象与所述第二标注信息对应的感兴趣对象之间的相似度；以及

33、当所述相似度满足相似度阈值要求时，利用所述第二标注信息标注所述未标注的感兴趣对象，以形成所述第二辐射图像的准完备标注信息。

34、根据一些示例性的实施例，所述将提取出的感兴趣对象插入所述第一辐射图像中，以形成训练用辐射图像，具体包括：

35、对提取出的感兴趣对象进行数据增广操作，以形成增广数据，其中，所述提取出的感兴趣对象的数量为n，所述增广数据包括的感兴趣对象的数量为n，n＝m*n，其中，n为大于等于1的正整数，m为大于等于2的正整数；以及

36、将所述增广数据包括的n个感兴趣对象分别插入所述第一辐射图像中，以形成多个训练用辐射图像。

37、根据一些示例性的实施例，所述数据增广操作包括如下操作中的至少一种：翻转，旋转，和数值抖动操作。

38、根据一些示例性的实施例，所述训练数据集包括第一训练数据子集和第二训练数据子集，所述第一训练数据子集和所述第二训练数据子集具有不同的数据分布，所述第一训练数据子集包括预置数据，所述第二训练数据子集包括在辐射检查现场采集的未经标注的第三辐射图像，所述方法还包括：

39、利用所述第一训练数据子集训练所述辐射图像识别模型；以及

40、利用第二训练数据子集训练经所述第一训练数据子集训练过的辐射图像识别模型，

41、其中，在利用第二训练数据子集训练经所述第一训练数据子集训练过的辐射图像识别模型的过程中，通过调整所述辐射图像识别模型的特征层的参数，最小化所述第一训练数据子集和所述第二训练数据子集之间的距离。

42、根据一些示例性的实施例，所述预置数据包括辐射检查中的典型样本，所述典型样本通过遗传方法筛选得到。

43、根据一些示例性的实施例，所述在线标注所述第二辐射图像包括：

44、自动检测所述第二辐射图像中的未知类别的感兴趣对象；以及

45、发出提醒信号，所述提醒信号用于提醒对所述第二辐射图像中的未知类别的感兴趣对象进行标注。

46、根据一些示例性的实施例，所述利用所述训练数据集在线训练所述辐射图像识别模型包括：

47、利用所述训练数据集训练多个备选模型；

48、根据规定指标筛选所述多个备选模型；以及

49、将所述多个备选模型中满足规定指标的一个确定为所述辐射图像识别模型。

50、在另一方面，提供一种辐射图像识别方法，所述辐射图像识别方法应用于辐射检查系统中，所述辐射检查系统布置在辐射检查现场，所述方法包括：

51、在辐射检查现场采集待识别辐射图像；

52、将所述待识别辐射图像输入辐射图像识别模型中，其中，所述辐射图像识别模型为如上所述的方法训练得到的；以及

53、利用所述辐射图像识别模型识别所述待识别辐射图像。

54、在又一方面，提供一种用于在线训练辐射图像识别模型的装置，所述辐射图像识别模型应用于辐射检查系统中，所述辐射检查系统布置在辐射检查现场，所述辐射检查系统中预先存储有预置数据，所述预置数据包括第一辐射图像，所述装置包括：

55、采集模块，用于在辐射检查现场采集第二辐射图像；

56、在线标注模块，用于在线标注所述第二辐射图像，以形成带有第二标注信息的现场采集数据，其中，所述第二标注信息为所述第二辐射图像的不完备标注信息，所述第二标注信息用于指示所述第二辐射图像中部分感兴趣对象；

57、在线合成模块，用于在线合成所述预置数据和所述现场采集数据以形成训练数据集；以及

58、训练模块，用于利用所述训练数据集在线训练所述辐射图像识别模型。

59、根据一些示例性的实施例，所述在线合成所述预置数据和所述现场采集数据以形成训练数据包括：

60、从所述第二辐射图像中提取所述第二标注信息对应的感兴趣对象；以及

61、将所述第二标注信息以及提取出的感兴趣对象合成到所述预置数据包括的第一辐射图像中，以形成所述训练数据集。

62、在又另一方面，提供一种辐射图像识别装置，所述辐射图像识别装置应用于辐射检查系统中，所述辐射检查系统布置在辐射检查现场，所述装置包括：

63、采集模块，用于在辐射检查现场采集待识别辐射图像；

64、输入模块，用于将所述待识别辐射图像输入辐射图像识别模型中，其中，所述辐射图像识别模型为如上所述的方法训练得到的；以及

65、识别模块，用于利用所述辐射图像识别模型识别所述待识别辐射图像。

66、在再一方面，提供一种电子设备，包括：

67、一个或多个处理器；

68、存储装置，用于存储一个或多个程序，

69、其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行如上所述的方法。

70、根据一些示例性的实施例，所述电子设备为辐射检查设备。

71、在再另一方面，提供一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行如上所述的方法。

72、在仍另一方面，提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上所述的方法。

73、在本公开的实施例中，可以直接利用现场采集的不完备标注数据而消除其带来的负面影响，这样可以大大降低用户的标注负担。具体地，能够利用不完备标注或极度不完备标注的数据，即数据集中每一类别均不需完全标注，或者可以仅仅标注一幅图像中感兴趣类别的部分物体，以最大程度的减少标注负担，提升系统的鲁棒性。此外，可以保证现场采集的数据不出现场，即不用回传现场采集的数据，从而满足了用户的保密需求。