基于微调模型的图像识别方法、相关装置及存储介质与流程

本技术实施例涉及人工智能领域，更具体地涉及一种基于微调模型的图像识别方法、相关装置及存储介质。

背景技术：

1、人脸伪造检测技术是指一类技术，目的是识别多媒体是人工智能生成的还是人工创作的。人脸伪造检测产品包含若干种人脸伪造检测技术，给客户自动化识别多媒体是否是人工智能生成的。目前，针对深度伪造技术的检测方法主要使用深度神经网络进行分类，利用深度学习网络来学习真实人脸和合成人脸之间的差异，从而判断图像的真实性。深度神经网络可以从大量的图像数据中提取高层次的特征，如纹理、颜色、形状、边缘等，这些特征可以反映图像的生成过程和质量。伪造人脸图像通常会在这些特征上留下一些痕迹，如模糊、噪声、伪影、不连续、不自然等，这些痕迹可以被深度神经网络捕捉并用于鉴伪。在实际应用中，目标域(target domai n)中数据分布和源域(source domai n)训练集会数据分布会出现不一致，即分布漂移现象，导致检测准确性大幅下降，也即灾难性遗忘问题。具体来说，当预训练模型使用的数据和用户侧数据分布不一致时，会导致模型的鉴伪能力在实际使用中出现大幅下降。

2、也即，现有技术的图像识别容易出现灾难性遗忘问题，导致识别准确性较低。

技术实现思路

1、本技术实施例提供一种基于微调模型的图像识别方法、相关装置及存储介质,可以避免图像识别时出现灾难性遗忘问题，提高识别准确性。

2、第一方面，本技术实施例提供一种基于微调模型的图像识别方法，该方法包括：

3、获取目标图像识别模型和待识别图像，其中，所述目标图像识别模型为基于目标训练集对预设预训练模型微调得到，所述目标训练集基于核心源域样本集和所述目标域样本集确定，所述核心源域样本集为初始源域样本集的子集，所述预设预训练模型基于所述初始源域样本集训练得到，所述目标域样本集与所述初始源域样本集不同；

4、基于所述目标图像识别模型识别所述待识别图像，得到目标图像识别结果。

5、在一个实施方式中，所述基于微调模型的图像识别方法包括：

6、获取基于所述初始源域样本集预训练得到的所述预设预训练模型；

7、对所述初始源域样本集取子集，得到所述核心源域样本集；

8、基于所述核心源域样本集和所述目标域样本集确定所述目标训练集；

9、基于所述目标训练集微调所述预设预训练模型，得到所述目标图像识别模型。

10、在一个实施方式中，所述对所述初始源域样本集取子集，得到所述核心源域样本集，包括：

11、将所述初始源域样本集中的每个图像样本确定为目标图像样本，计算所述目标图像样本与所述初始源域样本集之间的密集度指标，得到所述初始源域样本集中的每个图像样本对应的密集度指标，其中，所述密集度指标基于所述目标图像样本与所述初始源域样本集中图像样本之间的相似度指标得到；

12、将所述密集度指标从大到小排序靠前的第一预设数量的图像样本确定为所述核心源域样本集。

13、在一个实施方式中，所述计算所述目标图像样本与所述初始源域样本集之间的密集度指标，包括：

14、计算所述目标图像样本与所述初始源域样本集中各个图像样本之间的相似度指标；

15、获取相似度指标从大到小排序靠前的第二预设数量的图像样本；

16、将所述第二预设数量的图像样本与所述目标图像样本之间的相似度指标的平均值确定为所述目标图像样本与所述初始源域样本集之间的密集度指标。

17、在一个实施方式中，所述基于所述目标图像识别模型识别所述待识别图像，得到目标图像识别结果，包括：

18、获取至少两个原型样本集，其中，至少两个所述原型样本集的原型样本属于不同类别；

19、分别计算所述待识别图像属于各个所述原型样本集的归属概率，并作为第一识别结果；

20、将所述待识别图像输入所述目标图像识别模型，得到所述待识别图像的第二识别结果；

21、基于所述第一识别结果和所述第二识别结果确定所述待识别图像的目标识别结果。

22、在一个实施方式中，所述基于微调模型的图像识别方法，包括：

23、当获取到新的获取待注册图像样本时，分别计算所述待注册图像样本归属各个所述原型样本集的归属概率；

24、将所述待注册图像样本归类至各个所述原型样本集中归属概率最高的所述原型样本集，得到更新后的至少两个原型样本集。

25、第二方面，本技术实施例提供一种基于微调模型的图像识别装置，具有实现对应于上述第一方面提供的基于微调模型的图像识别方法的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块，所述模块可以是软件和/或硬件。

26、在一个实施方式中，所述基于微调模型的图像识别装置包括：

27、获取模块，被配置为获取目标图像识别模型和待识别图像，其中，所述目标图像识别模型为基于目标训练集对预设预训练模型微调得到，所述目标训练集基于核心源域样本集和所述目标域样本集确定，所述核心源域样本集为初始源域样本集的子集，所述预设预训练模型基于所述初始源域样本集训练得到，所述目标域样本集与所述初始源域样本集不同；

28、识别模块，被配置为基于所述目标图像识别模型识别所述待识别图像，得到目标图像识别结果。

29、在一个实施方式中，所述获取模块，被配置为：

30、获取基于所述初始源域样本集预训练得到的所述预设预训练模型；

31、对所述初始源域样本集取子集，得到所述核心源域样本集；

32、基于所述核心源域样本集和所述目标域样本集确定所述目标训练集；

33、基于所述目标训练集微调所述预设预训练模型，得到所述目标图像识别模型。

34、在一个实施方式中，所述获取模块，被配置为：

35、将所述初始源域样本集中的每个图像样本确定为目标图像样本，计算所述目标图像样本与所述初始源域样本集之间的密集度指标，得到所述初始源域样本集中的每个图像样本对应的密集度指标，其中，所述密集度指标基于所述目标图像样本与所述初始源域样本集中图像样本之间的相似度指标得到；

36、将所述密集度指标从大到小排序靠前的第一预设数量的图像样本确定为所述核心源域样本集。

37、在一个实施方式中，所述获取模块，被配置为：

38、计算所述目标图像样本与所述初始源域样本集中各个图像样本之间的相似度指标；

39、获取相似度指标从大到小排序靠前的第二预设数量的图像样本；

40、将所述第二预设数量的图像样本与所述目标图像样本之间的相似度指标的平均值确定为所述目标图像样本与所述初始源域样本集之间的密集度指标。

41、在一个实施方式中，所述识别模块，被配置为：

42、获取至少两个原型样本集，其中，至少两个所述原型样本集的原型样本属于不同类别；

43、分别计算所述待识别图像属于各个所述原型样本集的归属概率，并作为第一识别结果；

44、将所述待识别图像输入所述目标图像识别模型，得到所述待识别图像的第二识别结果；

45、基于所述第一识别结果和所述第二识别结果确定所述待识别图像的目标识别结果。

46、在一个实施方式中，所述识别模块，被配置为：

47、当获取到新的获取待注册图像样本时，分别计算所述待注册图像样本归属各个所述原型样本集的归属概率；

48、将所述待注册图像样本归类至各个所述原型样本集中归属概率最高的所述原型样本集，得到更新后的至少两个原型样本集。

49、第三方面，本技术实施例提供一种计算机可读存储介质，其包括指令，当其在计算机上运行时，使得计算机执行如第一方面所述的基于微调模型的图像识别方法。

50、第四方面，本技术实施例提供一种计算设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现第一方面所述的基于微调模型的图像识别方法。

51、第五方面，本技术实施例提供一种芯片，该芯片中包括与终端设备的收发器耦合的处理器，用于执行本技术实施例第一方面提供的技术方案。

52、第六方面，本技术实施例提供一种芯片系统，该芯片系统包括处理器，用于支持终端设备实现上述第一方面中所涉及的功能，例如，生成或者处理上述第一方面提供的图像处理方法中所涉及的信息。

53、在一种可能的设计中，上述芯片系统还包括存储器，该存储器用于保存终端必需的程序指令和数据。该芯片系统可以由芯片构成，也可以包含芯片和其他分立器件。

54、第七方面，本技术实施例提供一种包含指令的计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述第一方面提供的基于微调模型的图像识别方法。

55、相较于现有技术，本技术实施例中，获取目标图像识别模型和待识别图像，其中，目标图像识别模型为基于目标训练集对预设预训练模型微调得到，目标训练集基于核心源域样本集和目标域样本集确定，核心源域样本集为初始源域样本集的子集，预设预训练模型基于初始源域样本集训练得到，目标域样本集与初始源域样本集不同；基于目标图像识别模型识别待识别图像，得到目标图像识别结果。由于本技术实施例根据目标域样本集和从初始源域样本集选取的核心源域样本集确定目标训练集，然后使用目标训练集微调预训练模型得到目标图像识别模型，因此目标图像识别模型既保留了源域数据的特征，又学到了目标域数据的特征，从而极大缓解了灾难性遗忘问题，提高识别准确性。