一种图像分类方法、装置、电子设备及存储介质与流程

本公开实施例涉及数据处理，尤其涉及一种图像分类方法、装置、电子设备及存储介质。

背景技术：

1、静默活体检测可认为是，在用户无需配合完成提示动作的情况下，直接判断镜头前用户是否为真人的一种检测技术。现常通过数据驱动的深度学习算法实现静默活体检测，可认为用于模型学习的训练数据是算法性能效果的决定因素。

2、目前，当算法遇到新型的虚假人脸攻击时，算法迭代过程(例如包括攻击数据的设计/采集、处理，基于攻击数据的模型训练、模型更新等)的时间跨度较长。现有方法无法快速识别新型攻击，这导致了算法所属系统存在较高的安全风险，面临新型攻击时可能出现较大损失。

技术实现思路

1、本公开实施例提供了一种图像分类方法、装置、电子设备及存储介质，能够实现对新型图像类别的快速识别。

2、第一方面，本公开实施例提供了一种图像分类方法，包括：

3、提取待分类图像的第一图像特征；

4、提取描述文本集合中各描述文本的第一文本特征；其中，所述描述文本集合与目标图像分类任务对应，所述各描述文本用于描述所述目标图像分类任务下各图像类别；并且，所述描述文本集合随所述图像类别更新而更新；

5、从各所述第一文本特征中确定出与所述第一图像特征相匹配的目标文本特征；

6、基于所述目标文本特征对应的图像类别，确定所述待分类图像的目标类别。

7、第二方面，本公开实施例还提供了一种图像分类装置，包括：

8、图像特征提取模块，用于提取待分类图像的第一图像特征；

9、文本特征提取模块，用于提取描述文本集合中各描述文本的第一文本特征；其中，所述描述文本集合与目标图像分类任务对应，所述各描述文本用于描述所述目标图像分类任务下各图像类别；并且，所述描述文本集合随所述图像类别更新而更新；

10、图文特征匹配模块，用于从各所述第一文本特征中确定出与所述第一图像特征相匹配的目标文本特征；

11、分类模块，用于基于所述目标文本特征对应的图像类别，确定所述待分类图像的目标类别。

12、第三方面，本公开实施例还提供了一种电子设备，所述电子设备包括：

13、一个或多个处理器；

14、存储装置，用于存储一个或多个程序，

15、当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本公开实施例任一所述的图像分类方法。

16、第四方面，本公开实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如本公开实施例任一所述的图像分类方法。

17、本公开实施例的技术方案，提取待分类图像的第一图像特征；提取描述文本集合中各描述文本的第一文本特征；其中，描述文本集合与目标图像分类任务对应，各描述文本用于描述目标图像分类任务下各图像类别；并且，描述文本集合随图像类别更新而更新；从各第一文本特征中确定出与第一图像特征相匹配的目标文本特征；基于目标文本特征对应的图像类别，确定待分类图像的目标类别。通过基于图文特征匹配的方式，能够在出现新型图像类别的情况下，无需进行算法迭代过程，仅通过更新相关的描述文本，就可实现对新型图像类别的快速识别。

技术特征：

1.一种图像分类方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述方法应用于图像分类模型，且所述图像分类模型的至少部分基于对多模态预训练模型进行知识蒸馏得到；其中，所述多模态预训练模型至少用于处理图像模态和文本模态的数据。

3.根据权利要求2所述的方法，其特征在于，所述图像分类模型包括第一图像编码器，所述多模态预训练模型包括第二图像编码器，且所述第一图像编码器的参数量小于所述第二图像编码器的参数量；

4.根据权利要求2所述的方法，其特征在于，所述图像分类模型包括所述多模态预训练模型的文本编码器和特征匹配层；

5.根据权利要求4所述的方法，其特征在于，所述目标图像分类任务下的各图像类别属于二分类父类别的子类别，所述类别标签为二分类标签；

6.根据权利要求1所述的方法，其特征在于，每种所述图像类别对应至少两条描述文本。

7.根据权利要求1-6中任一所述的方法，其特征在于，所述目标图像分类任务包括静默活体检测，所述图像类别包括真实面部类别的子类别和虚假面部类别的子类别。

8.一种图像分类装置，其特征在于，包括：

9.一种电子设备，其特征在于，所述电子设备包括：

10.一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7中任一所述的图像分类方法。

技术总结本公开实施例公开了一种图像分类方法、装置、电子设备及存储介质，其中该方法包括：提取待分类图像的第一图像特征；提取描述文本集合中各描述文本的第一文本特征；其中，所述描述文本集合与目标图像分类任务对应，所述各描述文本用于描述所述目标图像分类任务下各图像类别；并且，所述描述文本集合随所述图像类别更新而更新；从各所述第一文本特征中确定出与所述第一图像特征相匹配的目标文本特征；基于所述目标文本特征对应的图像类别，确定所述待分类图像的目标类别。通过基于图文特征匹配的方式，能够在出现新型图像类别的情况下，无需进行算法迭代过程，仅通过更新相关的描述文本，就可实现对新型图像类别的快速识别。技术研发人员：熊柏桥,陈力,王旭受保护的技术使用者：北京字跳网络技术有限公司技术研发日：技术公布日：2024/9/12