图像处理方法、装置、设备及计算机可读存储介质与流程

本技术涉及图像处理，尤其涉及一种图像处理方法、装置、设备及计算机可读存储介质。

背景技术：

1、随着深度学习的不断发展，机器学习模型在各行各业取得了越来越大的成功，在图像分类、目标检测领域取得了较高的检测精度。在工业检测领域，深度学习模型训练不仅需要大规模训练数据集的支撑，还需要标注信息。但在实际场景中，以工业表面缺陷检测为例，针对图像上的缺陷目标的标注极为费时费力，因此一般只有图像级别即有/无缺陷的标注信息。在这种情况下，只能通过训练图像分类模型判断是否存在缺陷，但是由于实际工业场景中，缺陷目标较小、种类多、噪音大，导致很难实现工业场景下缺陷目标的标注。

技术实现思路

1、为解决相关技术中存在的技术问题，本技术实施例提供一种图像处理方法、装置、设备及计算机可读存储介质。

2、为达到上述目的，本技术实施例的技术方案是这样实现的：

3、第一方面，本技术实施例提供了一种图像处理方法，所述方法包括：

4、获取未标注的图像集；

5、确定所述未标注的图像集对应的第一目标检测模型；所述第一目标检测模型与所述未标注的图像集本身的图像特征信息相关，所述图像特征信息至少包括图像的类别信息；

6、基于所述第一目标检测模型，对所述未标注的图像集进行目标检测，得到目标预标注结果；所述目标预标注结果用于构成已标注的图像集的图像。

7、上述方案中，在所述确定所述未标注的图像集对应的第一目标检测模型之前，所述方法还包括：

8、获取多个公开图像集；其中，所述公开图像集为目标检测任务中已标注好目标的类别信息和位置信息的数据集；所述多个公开图像集中每个公开图像集分别对应训练一个目标检测模型；

9、所述确定所述未标注的图像集对应的第一目标检测模型，包括：

10、计算所述未标注的图像集与所述多个公开图像集中每个公开图像集之间图像特征的平均距离；

11、基于所述平均距离，从所述多个公开图像集对应的目标检测模型中选择所述第一目标检测模型。

12、上述方案中，所述基于所述平均距离，从所述多个公开图像集对应的目标检测模型中选择所述第一目标检测模型，包括：

13、对所述未标注的图像集与所述多个公开图像集中每个公开图像集之间图像特征的平均距离进行排序，得到第一排序结果；

14、基于所述第一排序结果，从所述多个公开图像集中筛选目标公开图像集；所述目标公开图像集与所述未标注的图像集之间图像特征的平均距离满足设定条件；

15、将所述目标公开图像集对应的目标检测模型确定为所述第一目标检测模型。

16、上述方案中，在所述基于所述第一目标检测模型，对所述未标注的图像集进行目标检测，得到目标预标注结果之后，所述方法还包括：

17、基于目标检测框的交并比(iou，intersection over union)，对所述目标预标注结果进行筛选处理，得到目标标注结果。

18、上述方案中，所述基于目标检测框的iou，对所述目标预标注结果进行筛选处理，得到目标标注结果，包括：

19、对所述目标预标注结果的目标集合中各目标的目标检测框的分类概率进行排序，得到第二排序结果；

20、基于所述第二排序结果，确定最大分类概率对应的第一目标检测框；

21、基于所述第一目标检测框与各目标检测框的iou，对所述目标预标注结果进行去重处理，得到所述目标标注结果。

22、上述方案中，所述基于所述第一目标检测框与各目标检测框的iou，对所述目标预标注结果进行去重处理，得到所述目标标注结果，包括：

23、从所述第一目标检测框开始，分别判断所述第一目标检测框与第一目标检测框集合中各目标检测框的iou是否大于设定阈值；所述第一目标检测框集合中包括除所述第一目标检测框以外的其他目标检测框；

24、根据判断结果，将所述第一目标检测框集合中iou大于设定阈值的目标检测框进行剔除，并保留所述第一目标检测框；

25、从剔除后的所述第一目标检测框集合中剩余的目标检测框中，确定最大分类概率对应的第二目标检测框；

26、基于所述第二目标检测框与目标检测框的iou，重复执行iou与设定阈值的比较过程，直至查找到保留下来的所有目标检测框，并将保留下来的所有目标检测框对应的目标预标注结果确定为所述目标标注结果。

27、上述方案中，所述方法还包括：

28、对所述目标标注结果进行更新，得到更新的目标标注结果；

29、迭代执行对所述目标标注结果进行更新的过程，不断调整第二目标检测模型的参数，直到所述第二目标检测模型的检测精度达到预设精度要求，则所述第二目标检测模型训练完成；

30、其中，所述第二目标检测模型用于对所述未标注的图像集进行目标检测，以得到更新的目标标注结果。

31、上述方案中，所述对所述目标标注结果进行更新，得到更新的目标标注结果，包括：

32、对所述目标标注结果进行筛选，保留满足预设条件的目标标注结果，构成已标注的图像集；

33、基于所述已标注的图像集训练目标检测网络，得到训练好的第二目标检测模型；

34、基于所述第二目标检测模型，对所述未标注的图像集进行目标检测，得到更新的目标标注结果。

35、上述方案中，所述对所述目标标注结果进行筛选，保留满足预设条件的目标标注结果，包括：

36、确定所述未标注的图像集中具有代表性的正负样本目标类别集合；

37、基于所述正负样本目标类别集合之间的距离，对所述目标标注结果进行筛选，保留满足预设条件的目标标注结果。

38、上述方案中，在所述保留满足预设条件的目标标注结果，构成已标注的图像集之后，所述方法还包括：

39、输出并显示所述满足预设条件的目标标注结果；

40、其中，所述满足预设条件的目标标注结果至少包括以下之一：目标的类别信息；目标的位置信息。

41、上述方案中，所述基于所述已标注的图像集训练目标检测网络，得到训练好的第二目标检测模型，包括：

42、审核所述满足预设条件的目标标注结果中自动标注的目标的类别信息和位置信息是否准确；

43、在所述目标的类别信息和位置信息准确的情况下，基于所述已标注的图像集训练目标检测网络，得到训练好的第二目标检测模型。

44、上述方案中，在所述第二目标检测模型训练完成之后，所述方法还包括：

45、基于训练好的第二目标检测模型的参数和基础网络结构，对第一图像分类模型进行模型训练，得到优化后的第二图像分类模型。

46、第二方面，本技术实施例还提供了一种图像处理装置，包括：

47、获取单元，用于获取未标注的图像集；

48、确定单元，用于确定所述未标注的图像集对应的第一目标检测模型；所述第一目标检测模型与所述未标注的图像集本身的图像特征信息相关，所述图像特征信息至少包括图像的类别信息；

49、检测单元，用于基于所述第一目标检测模型，对所述未标注的图像集进行目标检测，得到目标预标注结果；所述目标预标注结果用于构成已标注的图像集的图像。

50、第三方面，本技术实施例还提供了一种图像处理设备，包括：

51、通信接口，用于获取未标注的图像集；

52、处理器，用于确定所述未标注的图像集对应的第一目标检测模型；所述第一目标检测模型与所述未标注的图像集本身的图像特征信息相关，所述图像特征信息至少包括图像的类别信息；基于所述第一目标检测模型，对所述未标注的图像集进行目标检测，得到目标预标注结果；所述目标预标注结果用于构成已标注的图像集的图像。

53、第四方面，本技术实施例还提供了另一种图像处理设备，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，

54、其中，所述处理器用于运行所述计算机程序时，执行本技术实施例所述的图像处理方法的步骤。

55、第五方面，本技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本技术实施例所述的图像处理方法的步骤。

56、本技术实施例提供的图像处理方法、装置、设备及计算机可读存储介质，通过确定与未标注的图像集对应的第一目标检测模型，对未标注的图像集进行目标检测，从而得到目标预标注结果，而第一目标检测模型与未标注的图像集本身的图像特征信息相关，且图像特征信息至少包括图像的类别信息，因此，本技术实施例的技术方案实现了一种基于生成图像类型的目标自动标注方案，该方案充分利用未标注的图像集本身的图像级别的类别信息，构建用于进行目标检测的第一目标检测模型，从而基于所构建的第一目标检测模型对未标注的图像集进行目标标注，大大减少了人工标注的成本，提高了目标标注的效率，从而解决了实际工业场景下缺陷目标标注困难的问题。