人脸识别模型训练方法、人脸识别方法及相关设备与流程

本申请涉及人脸识别，更具体的说，是涉及一种人脸识别模型训练方法、人脸识别方法、装置、相关设备及计算机程序产品。

背景技术：

1、随着神经网络模型在人脸识别领域的应用，采用人脸识别模型可以提高人脸识别的准确度。

2、目前广泛应用的人脸识别模型主要基于大型通用人脸数据集进行训练，这些数据集通常包含数量庞大、高分辨率的图像，且大多数情况下是在可见光照射下捕获的清晰无遮挡人脸(又可以称之为“干净人脸数据”)。虽然这种数据环境确保了模型在通用场景下的高效性能，但同时也引发了一些挑战。当面对现实世界复杂多变的异质场景时，例如非约束环境下的人脸识别任务，模型往往需要应对包括但不限于异源成像(如红外场景)、质量较低、人脸有遮挡或光照条件不佳的面部图像的情况，这些情况可能超出了原有训练集的数据特征范围，从而导致在异质人脸场景下识别准确率大大降低等。

技术实现思路

1、鉴于上述问题，提出了本申请以便提供一种人脸识别模型训练方法、人脸识别方法、装置、相关设备及计算机程序产品，以解决现有人脸识别模型在异质人脸场景下识别准确率不高的问题。具体方案如下：

2、第一方面，提供了一种人脸识别模型训练方法，包括：

3、获取通用人脸识别模型，所述通用人脸识别模型为在通用人脸数据集上预训练后的模型，其包括主干特征提取模块及人脸属性分类模块，所述主干特征提取模块用于对输入的人脸图像提取身份特征，所述人脸属性分类模块用于基于所述身份特征预测与所述人脸图像匹配的身份类型；

4、在所述主干特征提取模块中添加微调分支网络，所述微调分支网络与所述主干特征提取模块中的主干网络并行相连；

5、在配置的异质人脸数据集上对所述通用人脸识别模型进行训练，训练过程冻结所述主干特征提取模块中所述主干网络的参数，得到训练后的异质人脸识别模型。

6、在一种可能的设计中，在本申请实施例的第一方面的另一种实现方式中，还包括：

7、将所述异质人脸识别模型的主干特征提取模块中主干网络所并行相连的微调分支网络的参数，与并行相连的主干网络的参数进行融合，并去除所述微调分支网络，得到结构简化后的异质人脸识别模型；

8、其中，在参数融合前，由主干网络与微调分支网络的并行结构对输入数据进行运算所得到的运算结果，与参数融合后由主干网络对输入数据进行运算所得到的运算结果相同。

9、在一种可能的设计中，在本申请实施例的第一方面的另一种实现方式中，所述主干特征提取模块采用带有旁路分支的卷积神经网络；

10、所述微调分支网络与所述卷积神经网络中的旁路分支并行连接。

11、在一种可能的设计中，在本申请实施例的第一方面的另一种实现方式中，所述微调分支网络为与所述旁路分支拥有相同卷积核大小的卷积层。

12、在一种可能的设计中，在本申请实施例的第一方面的另一种实现方式中，所述主干特征提取模块采用带有旁路分支的卷积神经网络，所述微调分支网络为与所述旁路分支拥有相同卷积核大小的卷积层，且所述微调分支网络与所述卷积神经网络中的旁路分支并行连接；

13、则，将所述主干特征提取模块中主干网络所并行相连的微调分支网络的参数，与并行相连的主干网络的参数进行融合的过程，包括：

14、将所述微调分支网络的参数线性叠加到并行连接的所述旁路分支的参数中，实现参数的融合。

15、在一种可能的设计中，在本申请实施例的第一方面的另一种实现方式中，所述通用人脸识别模型还包括：

16、图像预处理模块，用于对输入的人脸图像进行人脸检测，并对检测到的人脸进行对齐，得到对齐后的标准人脸图像；

17、所述标准人脸图像作为所述主干特征提取模块的输入。

18、第二方面，提供了一种人脸识别方法，包括：

19、获取人脸图像；

20、将所述人脸图像输入配置的异质人脸识别模型，得到所述异质人脸识别模型输出的人脸识别结果；

21、其中，所述异质人脸识别模型为采用本申请前述第一方面中任一项所描述的人脸识别模型训练方法所得到的模型。

22、第三方面，提供了一种人脸识别模型训练装置，包括：

23、通用模型获取单元，用于获取通用人脸识别模型，所述通用人脸识别模型为在通用人脸数据集上预训练后的模型，其包括主干特征提取模块及人脸属性分类模块，所述主干特征提取模块用于对输入的人脸图像提取身份特征，所述人脸属性分类模块用于基于所述身份特征预测与所述人脸图像匹配的身份类型；

24、模型编辑单元，用于在所述主干特征提取模块中添加微调分支网络，所述微调分支网络与所述主干特征提取模块中的主干网络并行相连；

25、模型微调单元，用于在配置的异质人脸数据集上对所述通用人脸识别模型进行训练，训练过程冻结所述主干特征提取模块中所述主干网络的参数，得到训练后的异质人脸识别模型。

26、第四方面，提供了一种电子设备，包括：存储器和处理器；

27、所述存储器，用于存储程序；

28、所述处理器，用于执行所述程序，实现前述第一方面中任一项所述的人脸识别模型训练方法的各个步骤，或者，实现前述第二方面的人脸识别方法的各个步骤。

29、第五方面，提供了一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现前述第一方面中任一项所述的人脸识别模型训练方法的各个步骤，或者，实现前述第二方面的人脸识别方法的各个步骤。

30、第六方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时，实现前述第一方面中任一项所述的人脸识别模型训练方法的各个步骤，或者，实现前述第二方面的人脸识别方法的各个步骤。

31、借由上述技术方案，本申请提供了一种异质人脸识别模型的训练方法，对于获取的在通用人脸数据集上预训练后的通用人脸识别模型，在异质人脸数据集上进行部分参数的微调训练，得到训练后的异质人脸识别模型，能够提高异质人脸场景下的识别准确率。

32、此外，为了提高在异质人脸数据集上模型训练的效率，本申请并未采用全参数的微调训练，而是冻结了通用人脸识别模型中主干特征提取模块内主干网络的参数，对新增的微调分支网络等少量参数进行微调，可以有效提高模型的训练效率。

33、进一步地，为了避免或者降低模型出现“灾难性遗忘”的问题，保证训练后的异质人脸识别模型不会丢失原有通用人脸数据集上的性能，本申请微调训练过程在原有通用人脸识别模型基础上新增了微调分支网络，该微调分支网络与主干特征提取模块中的主干网络并行相连，在异质人脸数据集上训练时冻结主干网络的参数不变，对微调分支网络的参数进行更新，如此既能够保留通用人脸识别模型的核心参数，又实现了从通用人脸识别场景到异质人脸识别场景的高效迁移适应，确保训练后的模型在两种场景下具有较好的识别性能。

技术特征：

1.一种人脸识别模型训练方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，还包括：

3.根据权利要求1所述的方法，其特征在于，所述主干特征提取模块采用带有旁路分支的卷积神经网络；

4.根据权利要求3所述的方法，其特征在于，所述微调分支网络为与所述旁路分支拥有相同卷积核大小的卷积层。

5.根据权利要求2所述的方法，其特征在于，所述主干特征提取模块采用带有旁路分支的卷积神经网络，所述微调分支网络为与所述旁路分支拥有相同卷积核大小的卷积层，且所述微调分支网络与所述卷积神经网络中的旁路分支并行连接；

6.根据权利要求1-5任一项所述的方法，其特征在于，所述通用人脸识别模型还包括：

7.一种人脸识别方法，其特征在于，包括：

8.一种人脸识别模型训练装置，其特征在于，包括：

9.一种电子设备，其特征在于，包括：存储器和处理器；

10.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1~6中任一项所述的人脸识别模型训练方法的各个步骤，或者，实现权利要求7所述的人脸识别方法的各个步骤。

11.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时，实现如权利要求1~6中任一项所述的人脸识别模型训练方法的各个步骤，或者，实现权利要求7所述的人脸识别方法的各个步骤。

技术总结本申请公开了一种人脸识别模型训练方法、人脸识别方法、装置、相关设备及计算机程序产品，对于获取的在通用人脸数据集上预训练后的通用人脸识别模型，在异质人脸数据集上进行部分参数的微调训练，提高异质人脸场景下的识别准确率。训练过程冻结了通用人脸识别模型中主干特征提取模块内主干网络的参数，对新增的微调分支网络等少量参数进行微调，提高模型的训练效率。同时，通过设置新增的微调分支网络与主干网络并行相连，训练过程既能保留通用人脸识别模型的核心参数，又实现了从通用人脸识别场景到异质人脸识别场景的迁移适应，确保训练后的模型在两种场景下具有较好的识别性能。技术研发人员：林垠,刘昕冉,黄启东,殷保才,殷兵受保护的技术使用者：科大讯飞股份有限公司技术研发日：技术公布日：2024/10/10