图像异常检测方法、装置、计算机设备和存储介质与流程

本技术涉及计算机，特别是涉及一种图像异常检测方法、装置、计算机设备、存储介质和计算机程序产品以及一种图像异常检测模型处理方法、装置、计算机设备、存储介质和计算机程序产品。

背景技术：

1、随着计算机技术的发展，计算机视觉在各个领域的应用越来越广泛，包括自动驾驶、医疗影像分析、零售业、安防、游戏等各种领域，实现了图像分类、目标检测、语义分割、人脸识别、图像异常检测等各种多样的任务，极大地提高了图像处理效率。其中，图像异常检测旨在识别异常图像，在工业外观缺陷检测、医学图像分析、高光谱图像处理等领域有较高的研究意义和应用价值。

2、然而目前的图像异常检测处理中，因为图像内的异常区域与邻近区域之间往往存在较高的一致性，使得图像中的正常区域和异常区域无法有效进行区分，导致图像异常检测的准确性较低。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种能够提高图像异常检测准确性的图像异常检测方法、装置、计算机设备、计算机可读存储介质和计算机程序产品以及图像异常检测模型处理方法、装置、计算机设备、存储介质和计算机程序产品。

2、第一方面，本技术提供了一种图像异常检测方法。所述方法包括：

3、获取待检测图像，并针对待检测图像的图像原始特征进行编码，得到待检测图像的检测编码特征；

4、确定与待检测图像关联的提示原始特征，并针对提示原始特征进行编码，得到提示编码特征；提示原始特征，是针对待检测图像对应的不包括异常的参考图像提取得到的；

5、基于检测编码特征和提示编码特征进行至少一层级的组合解码处理，获得至少一层级的组合解码处理输出的组合解码特征，在每一层级的组合解码处理中，针对所处层级输入的目标检测编码特征和目标提示编码特征进行注意力特征提取，得到所处层级输出的提示编码特征，并针对所处层级输出的提示编码特征和目标检测编码特征进行注意力特征提取，得到所处层级输出的检测编码特征；

6、根据组合解码特征获得针对待检测图像的图像重建特征；

7、基于图像重建特征和图像原始特征之间的重建差异，得到针对待检测图像的异常检测结果。

8、第二方面，本技术还提供了一种图像异常检测装置。所述装置包括：

9、待检测图像处理模块，用于获取待检测图像，并针对待检测图像的图像原始特征进行编码，得到待检测图像的检测编码特征；

10、提示特征获取模块，用于确定与待检测图像关联的提示原始特征，并针对提示原始特征进行编码，得到提示编码特征；提示原始特征，是针对待检测图像对应的不包括异常的参考图像提取得到的；

11、组合解码处理模块，用于基于检测编码特征和提示编码特征进行至少一层级的组合解码处理，获得至少一层级的组合解码处理输出的组合解码特征，在每一层级的组合解码处理中，针对所处层级输入的目标检测编码特征和目标提示编码特征进行注意力特征提取，得到所处层级输出的提示编码特征，并针对所处层级输出的提示编码特征和目标检测编码特征进行注意力特征提取，得到所处层级输出的检测编码特征；

12、重建特征获得模块，用于根据组合解码特征获得针对待检测图像的图像重建特征；

13、重建差异处理模块，用于基于图像重建特征和图像原始特征之间的重建差异，得到针对待检测图像的异常检测结果。

14、第三方面，本技术还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以上图像异常检测方法的步骤。

15、第四方面，本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以上图像异常检测方法的步骤。

16、第五方面，本技术还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以上图像异常检测方法的步骤。

17、上述图像异常检测方法、装置、计算机设备、存储介质和计算机程序产品，针对待检测图像的图像原始特征编码得到检测编码特征，针对待检测图像关联的、从不包括异常的参考图像中提取的提示原始特征编码得到提示编码特征，基于检测编码特征和提示编码特征进行至少一层级的组合解码处理，得到组合解码特征，每一层级的组合解码处理中，针对所处层级输入的目标检测编码特征和目标提示编码特征进行注意力特征提取，得到所处层级输出的提示编码特征，并针对所处层级输出的提示编码特征和目标检测编码特征进行注意力特征提取，得到所处层级输出的检测编码特征，根据组合解码特征获得针对待检测图像的图像重建特征，并基于图像重建特征和图像原始特征之间的重建差异得到待检测图像的异常检测结果。在图像异常检测处理时，每一层级的组合解码处理中，通过所处层级输入的目标检测编码特征和目标提示编码特征进行注意力特征提取，得到所处层级输出的提示编码特征，并对所处层级输出的提示编码特征和目标检测编码特征进行注意力特征提取，得到所处层级输出的检测编码特征，能够综合利用不包括异常的参考图像的图像上下文信息以及每个层级相应的动态提示编码特征构建组合解码特征，增强了组合解码特征的特征表达能力，从而提高了基于组合解码特征得到的重建特征进行图像异常检测的准确性。

18、第六方面，本技术提供了一种图像异常检测模型处理方法。所述方法包括：

19、获取正常样本图像、与正常样本图像关联的参考样本图像和异常样本图像；

20、分别针对正常样本图像、参考样本图像和异常样本图像进行特征提取，得到正常样本图像的正常图像原始特征、参考样本图像的参考图像原始特征以及异常样本图像的异常图像原始特征；

21、通过待训练的图像异常检测模型，针对正常图像原始特征、参考图像原始特征以及异常图像原始特征分别进行编码，得到正常样本图像的正常样本编码特征、参考样本图像的提示样本编码特征以及异常样本图像的异常样本编码特征；

22、通过待训练的图像异常检测模型，基于正常样本编码特征和提示样本编码特征进行至少一层级的组合解码处理，获得至少一层级的组合解码处理输出的第一组合解码特征，并根据第一组合解码特征获得针对正常样本图像的正常样本重建特征；

23、通过待训练的图像异常检测模型，基于异常样本编码特征和提示样本编码特征进行至少一层级的组合解码处理，获得至少一层级的组合解码处理输出的第二组合解码特征，并根据第二组合解码特征获得针对异常样本图像的异常样本恢复特征；

24、基于正常样本重建特征、异常样本恢复特征和正常图像原始特征对待训练的图像异常检测模型进行更新后继续训练，直至训练完成，获得训练完成的图像异常检测模型；训练完成的图像异常检测模型用于针对输入图像进行图像异常检测。

25、在其中一个实施例中，基于正常样本重建特征、异常样本恢复特征和正常图像原始特征对待训练的图像异常检测模型进行更新后继续训练，直至训练完成，获得训练完成的图像异常检测模型，包括：根据正常样本重建特征与正常图像原始特征之间的样本重建差异，确定样本重建损失；根据异常样本恢复特征和正常图像原始特征之间的样本恢复差异，确定样本恢复损失；基于样本重建损失和样本恢复损失对待训练的图像异常检测模型进行更新后继续训练，直至训练完成，获得训练完成的图像异常检测模型。

26、在其中一个实施例中，图像异常检测模型处理方法还包括：分别确定正常样本重建特征与正常图像原始特征之间的第一特征差异，和异常样本恢复特征与异常图像原始特征之间的第二特征差异；通过待训练的图像异常检测模型，针对第一特征差异和第二特征差异分别进行至少一层级的像素特征提取，得到第一像素异常结果和第二像素异常结果；根据异常样本图像携带的异常区域标签、第一像素异常结果和第二像素异常结果确定像素异常检测损失；基于样本重建损失和样本恢复损失对待训练的图像异常检测模型进行更新后继续训练，直至训练完成，获得训练完成的图像异常检测模型，包括：融合样本重建损失、样本恢复损失和像素异常检测损失，得到模型目标损失；基于模型目标损失对待训练的图像异常检测模型进行更新后继续训练，直至训练完成，获得训练完成的图像异常检测模型。

27、第七方面，本技术还提供了一种图像异常检测模型处理装置。所述装置包括：

28、样本图像获取模块，用于获取正常样本图像、与正常样本图像关联的参考样本图像和异常样本图像；

29、样本特征提取模块，用于分别针对正常样本图像、参考样本图像和异常样本图像进行特征提取，得到正常样本图像的正常图像原始特征、参考样本图像的参考图像原始特征以及异常样本图像的异常图像原始特征；

30、样本特征编码模块，用于通过待训练的图像异常检测模型，针对正常图像原始特征、参考图像原始特征以及异常图像原始特征分别进行编码，得到正常样本图像的正常样本编码特征、参考样本图像的提示样本编码特征以及异常样本图像的异常样本编码特征；

31、正常样本重建模块，用于通过待训练的图像异常检测模型，基于正常样本编码特征和提示样本编码特征进行至少一层级的组合解码处理，获得至少一层级的组合解码处理输出的第一组合解码特征，并根据第一组合解码特征获得针对正常样本图像的正常样本重建特征；

32、异常样本恢复模块，用于通过待训练的图像异常检测模型，基于异常样本编码特征和提示样本编码特征进行至少一层级的组合解码处理，获得至少一层级的组合解码处理输出的第二组合解码特征，并根据第二组合解码特征获得针对异常样本图像的异常样本恢复特征；

33、模型更新模块，用于基于正常样本重建特征、异常样本恢复特征和正常图像原始特征对待训练的图像异常检测模型进行更新后继续训练，直至训练完成，获得训练完成的图像异常检测模型；训练完成的图像异常检测模型用于针对输入图像进行图像异常检测。

34、第八方面，本技术还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以上图像异常检测模型处理方法的步骤。

35、第九方面，本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以上图像异常检测模型处理方法的步骤。

36、第十方面，本技术还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以上图像异常检测模型处理方法的步骤。

37、上述图像异常检测模型处理方法、装置、计算机设备、存储介质和计算机程序产品，对于正常样本图像、与正常样本图像关联的参考样本图像和异常样本图像，通过待训练的图像异常检测模型分别对各自的图像原始特征进行编码，得到正常样本编码特征、提示样本编码特征以及异常样本编码特征，通过待训练的图像异常检测模型基于正常样本编码特征和提示样本编码特征进行至少一层级的组合解码处理，以构建针对正常样本图像的正常样本重建特征，通过待训练的图像异常检测模型基于异常样本编码特征和提示样本编码特征进行至少一层级的组合解码处理，以构建针对异常样本图像的异常样本恢复特征，再基于正常样本重建特征、异常样本恢复特征和正常图像原始特征对待训练的图像异常检测模型进行更新后继续训练，获得训练完成的、用于针对输入图像进行图像异常检测的图像异常检测模型。通过引入提示样本编码特征结合正常样本编码特征进行至少一层级的组合解码处理，以针对正常样本图像进行特征重建，引入提示样本编码特征结合异常样本编码特征进行至少一层级的组合解码处理，以针对异常样本图像进行特征恢复，能够利用参考样本图像的图像上下文信息以及每个层级相应的动态提示编码特征增强图像异常检测模型的图像异常检测能力，从而提高基于训练的图像异常检测模型针对输入图像进行图像异常检测的准确性。