一种图像处理方法、装置、电子设备及存储介质与流程

本公开实施例涉及数据处理，尤其涉及一种图像处理方法、装置、电子设备及存储介质。

背景技术：

1、深度学习算法已成为常用的图像处理方法，其中深度学习模型的训练数据可认为是算法性能效果的决定因素。

2、在训练数据获取过程中，期望与任务无关的属性在正、负例训练数据上相对均衡，以避免模型学习无关属性的特征。然而，获取在无关属性上均衡的训练数据较为困难。无论在数据采集的过程中精心设计各项属性并控制采集过程，还是对训练数据进行细致地属性标注，均不具备灵活性，且成本较高。

3、现有技术中，尝试通过域自适应的方式来降低模型对于无关属性的拟合，以提升模型的泛化性。然而，如何合理地划分无关属性下的各数据域，成为了亟待解决的技术问题。

技术实现思路

1、本公开实施例提供了一种图像处理方法、装置、电子设备及存储介质，能够实现灵活的、低成本的、合理的无关属性的数据域划分，提升模型的泛化性。

2、第一方面，本公开实施例提供了一种图像处理方法，包括：

3、将待处理图像输入目标模型；

4、通过所述目标模型对所述待处理图像进行处理，得到所述待处理图像在目标任务下的处理结果；

5、其中，所述目标模型的训练过程，包括对预设属性下各数据域的数据进行的特征对齐过程；所述预设属性包括与所述目标任务无关的属性；所述预设属性下各数据域的数据，至少部分基于多模态模型对样本图像进行数据域划分得到。

6、第二方面，本公开实施例还提供了一种图像处理装置，包括：

7、输入模块，用于将待处理图像输入目标模型；

8、输出模块，用于通过所述目标模型对所述待处理图像进行处理，得到所述待处理图像在目标任务下的处理结果；

9、其中，所述目标模型的训练过程，包括对预设属性下各数据域的数据进行的特征对齐过程；所述预设属性包括与所述目标任务无关的属性；所述预设属性下各数据域的数据，至少部分基于多模态模型对样本图像进行数据域划分得到。

10、第三方面，本公开实施例还提供了一种电子设备，所述电子设备包括：

11、一个或多个处理器；

12、存储装置，用于存储一个或多个程序，

13、当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本公开实施例任一所述的图像处理方法。

14、第四方面，本公开实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如本公开实施例任一所述的图像处理方法。

15、本公开实施例的技术方案，将待处理图像输入目标模型；通过目标模型对待处理图像进行处理，得到待处理图像在目标任务下的处理结果；其中，目标模型的训练过程，包括对预设属性下各数据域的数据进行的特征对齐过程；预设属性包括与目标任务无关的属性；预设属性下各数据域的数据，至少部分基于多模态模型对样本图像进行数据域划分得到。

16、在目标模型训练过程中，通过基于多模态模型的跨模态特征匹配能力，确定样本图像在无关属性下数据域的分类，能够实现灵活的、低成本的、合理的无关属性的数据域划分。在此基础上，通过将目标模型在不同属性类别的数据域下的特征进行对齐，能够防止目标模型学习与任务无关属性的特征，从而可提升模型的泛化性。

技术特征：

1.一种图像处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述特征对齐过程，包括：

3.根据权利要求2所述的方法，其特征在于，所述多模态模型，包括图像编码器、文本编码器和跨模态特征匹配模块；

4.根据权利要求3所述的方法，其特征在于，所述各数据域的描述文本随所述预设属性更新而更新。

5.根据权利要求2所述的方法，其特征在于，以所述域划分损失增大为目标对所述目标模型进行训练，包括：

6.根据权利要求1-5中任一所述的方法，其特征在于，所述目标模型包括活体检测模型，所述预设属性包括下述至少一项：图像亮度、图像锐度、图像色温、图像饱和度和图像清晰度。

7.一种图像处理装置，其特征在于，包括：

8.根据权利要求7所述的装置，其特征在于，还包括：

9.一种电子设备，其特征在于，所述电子设备包括：

10.一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-6中任一所述的图像处理方法。

技术总结本公开实施例公开了一种图像处理方法、装置、电子设备及存储介质，其中该方法包括：将待处理图像输入目标模型；通过所述目标模型对所述待处理图像进行处理，得到所述待处理图像在目标任务下的处理结果；其中，所述目标模型的训练过程，包括对预设属性下各数据域的数据进行的特征对齐过程；所述预设属性包括与所述目标任务无关的属性；所述预设属性下各数据域的数据，至少部分基于多模态模型对样本图像进行数据域划分得到。在目标模型训练过程中，通过先基于多模态模型对样本图像进行无关属性下数据域分类，再使目标模型在不同类别的数据域下进行特征对齐，能够防止目标模型学习与任务无关属性的特征，可提升模型泛化性。技术研发人员：熊柏桥,陈力,王旭受保护的技术使用者：北京字跳网络技术有限公司技术研发日：技术公布日：2024/9/12