人脸增强模型的训练方法和装置、图像生成方法及装置与流程

本公开涉及图像处理，特别是指一种人脸增强模型的训练方法和装置、图像生成方法及装置。

背景技术：

1、随着深度学习技术的发展，基于深度学习方法可以生成清晰的图片，例如：基于生成式对抗网络模型(generative adversarial networks，简称gan)可以生成清晰的图片，但是基于gan模型的运算量往往较大，同时在对gan模型的输入图像进行增强处理后，往往导致gan模型的输出图像的存在噪点过多的问题。

技术实现思路

1、本公开提供一种人脸增强模型的训练方法和装置、图像生成方法及装置，通过对第一样本图像进行动态增强处理以得到第二样本图像，并降低人脸增强模型中各个卷积层的通道数，减小了人脸增强模型的运算量，保证了人脸增强模型输出图像的质量，提高了人脸增强模型的精度。

2、本公开的技术方案如下：

3、根据本公开实施例的第一方面，提供一种人脸增强模型的训练方法，所述方法包括：获取第一样本图像和所述第一样本图像对应的第二样本图像，其中，所述第一样本图像的清晰度高于所述第二样本图像的清晰度；基于所述第一样本图像和所述第二样本图像对人脸增强模型进行第i次训练，得到所述第二样本图像的样本增强图像，所述i的取值为大于或者等于1的整数；基于所述样本增强图像和所述第一样本图像，降低人脸增强模型中各个卷积层的通道数，以及调整人脸增强模型的模型参数，得到第i+1次训练时的人脸增强模型；继续采用所述第一样本图像和所述第二样本图像，对人脸增强模型进行第i+1次训练，直至满足训练结束条件得到训练后的目标人脸增强模型。

4、根据本公开的一个实施例，所述第一样本图像对应的第二样本图像的获取过程，包括：对所述第一样本图像进行增强处理，以获取所述第一样本图像对应的第二样本图像。

5、根据本公开的一个实施例，所述对所述第一样本图像进行增强处理，以获取所述第一样本图像对应的第二样本图像，包括：获取对所述第一样本图像的增强类型以及所述增强类型对应的增强系数；根据所述增强类型和所述增强系数，对所述第一样本图像进行增强处理，以获取所述第一样本图像对应的所述第二样本图像。

6、根据本公开的一个实施例，所述根据所述增强类型和所述增强系数，对所述第一样本图像进行增强处理，以获取所述第一样本图像对应的所述第二样本图像之后，还包括：获取所述第i次训练时的人脸增强模型的数据增强因子；根据所述数据增强因子，判断是否需要对所述第一样本图像的增强系数进行调整；确定需要对所述第一样本图像的增强系数进行调整，根据所述增强类型和调整后的增强系数，重新对所述第一样本图像进行增强处理，以获取所述第i+1次训练时的所述第二样本图像。

7、根据本公开的一个实施例，获取第i次训练时的人脸增强模型的数据增强因子，还包括：将所述第二样本图像、所述第一样本图像和所述样本增强图像分别输入至所述第i次训练时的人脸增强模型中的判别网络，以获取所述第二样本图像的第一输出值、所述第一样本图像的第二输出值和所述样本增强图像的第三输出值；根据所述第一输出值和所述第二样本图像的数量、所述第二输出值和所述第一样本图像的数量以及所述第三输出值和所述样本增强图像的数量，获取所述第二样本图像的第一均值、所述第二样本图像的第二均值和所述样本增强图像的第三均值；根据所述第一均值、所述第二均值和所述第三均值，获取所述第i次训练时的人脸增强模型的数据增强因子。

8、根据本公开的一个实施例，基于所述样本增强图像和所述第一样本图像，降低人脸增强模型中各个卷积层的通道数，包括：获取所述第i次训练时的人脸增强模型中各个卷积层的通道数的降低比例；按照所述降低比例，降低所述第i次训练时的人脸增强模型中各个卷积层的通道数。

9、根据本公开的一个实施例，所述按照所述降低比例，降低所述第i次训练时的人脸增强模型中各个卷积层的通道数之后，还包括：获取所述第i次训练时的人脸增强模型中所述各个卷积层输出的所述第二样本图像的质量评估结果；根据所述质量评估结果，判断是否对所述降低比例进行调整。

10、根据本公开的一个实施例，所述根据所述质量评估结果，判断是否对所述降低比例进行调整，还包括：响应于所述第二样本图像的质量评估结果满足图像质量指标，则无需对所述降低比例进行调整；或者响应于所述第二样本图像的质量评估结果未满足图像质量指标，则对未满足图像质量指标的卷积层的通道数的降低比例进行调整。

11、根据本公开的一个实施例，所述第二样本图像的样本增强图像的获取过程，包括：将所述第二样本图像输入至所述人脸增强模型的卷积网络和线性映射网络，以输出所述第二样本图像的噪声特征和属性特征；将所述噪声特征和所述属性特征输入至所述人脸增强模型的生成网络，由所述生成网络基于所述噪声特征和所述属性特征生成所述第二样本图像对应的样本增强图像。

12、根据本公开的一个实施例，所述调整人脸增强模型的模型参数，得到第i+1次训练时的人脸增强模型，包括：获取所述第i次训练时的人脸增强模型的生成网络的第一总损失函数和判别网络的第二总损失函数；根据所述第一总损失函数和第二总损失函数，调整所述第i次训练时的人脸增强模型的模型参数，得到第i+1次训练时的人脸增强模型。

13、根据本公开的一个实施例，所述获取所述第i次训练时的人脸增强模型的生成网络的第一总损失函数，包括：获取所述第i次训练时的人脸增强模型的预设损失函数；通过学生模型和预先训练完成的教师模型对所述第二样本图像特征提取，以获取所述学生模型提取的第一特征和所述教师模型提取的第二特征；根据所述第一特征和所述第二特征，获取所述学生模型和所述教师模型之间的蒸馏损失函数；通过预先训练完成的人脸识别模型对所述样本增强图像和所述第一样本图像进行特征提取，以获取所述样本增强图像的第三特征和所述第一样本图像的第四特征；根据所述第三特征和所述第四特征，获取所述样本增强图像和所述第一样本图像之间的相似度损失函数；将所述预设损失函数、所述蒸馏损失函数和所述相似度损失函数作为所述第一总损失函数。

14、根据本公开的一个实施例，所述获取所述第i次训练时的人脸增强模型的判别网络的第二总损失函数，包括：将所述第一样本图像和所述样本增强图像分别输入至所述第i次训练时的人脸增强模型的判别网络中，以获取所述第一样本图像的第一特征值和所述样本增强图像的第二特征值；根据所述第一特征值和所述第二特征值，获取所述第二总损失函数。

15、根据本公开实施例的第二方面，提供一种图像处理方法，所述方法包括：获取待处理图像；将所述待处理图像输入至目标人脸增强模型，由所述目标人脸增强模型输出所述待处理图像的目标增强图像，其中，所述目标人脸增强模型为采用如第一方面所述的人脸增强模型的训练方法训练出的模型。

16、根据本公开的一个实施例，所述方法还包括：将所述待处理图像输入至超分模型，由所述超分模型输出所述待处理图像对应的高清图像；将所述目标增强图像输入至人脸解析模型，由所述人脸解析模型输出所述目标增强图像的区域分割图像；对所述高清图像、所述区域分割图像和所述目标增强图像进行融合，以获取所述待处理图像的目标图像。

17、根据本公开实施例的第三方面，提供一种人脸增强模型的训练装置，所述装置包括：获取模块，用于获取第一样本图像和所述第一样本图像对应的第二样本图像，其中，所述第一样本图像的清晰度高于所述第二样本图像的清晰度；第一训练模块，用于基于所述第一样本图像和所述第二样本图像对人脸增强模型进行第i次训练，得到所述第二样本图像的样本增强图像，所述i的取值为大于或者等于1的整数；调整模块，用于基于所述样本增强图像和所述第一样本图像，降低人脸增强模型中各个卷积层的通道数，以及调整人脸增强模型的模型参数，得到第i+1次训练时的人脸增强模型；第二训练模块，用于继续采用所述第一样本图像和所述第二样本图像，对人脸增强模型进行第i+1次训练，直至满足训练结束条件得到训练后的目标人脸增强模型。

18、根据本公开的一个实施例，所述获取模块，还用于：对所述第一样本图像进行增强处理，以获取所述第一样本图像对应的第二样本图像。

19、根据本公开的一个实施例，所述获取模块，还用于：获取对所述第一样本图像的增强类型以及所述增强类型对应的增强系数；根据所述增强类型和所述增强系数，对所述第一样本图像进行增强处理，以获取所述第一样本图像对应的所述第二样本图像。

20、根据本公开的一个实施例，所述获取模块，还用于：获取所述第i次训练时的人脸增强模型的数据增强因子；根据所述数据增强因子，判断是否需要对所述第一样本图像的增强系数进行调整；确定需要对所述第一样本图像的增强系数进行调整，根据所述增强类型和调整后的增强系数，重新对所述第一样本图像进行增强处理，以获取所述第i+1次训练时的所述第二样本图像。

21、根据本公开的一个实施例，所述获取模块，还用于：将所述第二样本图像、所述第一样本图像和所述样本增强图像分别输入至所述第i次训练时的人脸增强模型中的判别网络，以获取所述第二样本图像的第一输出值、所述第一样本图像的第二输出值和所述样本增强图像的第三输出值；根据所述第一输出值和所述第二样本图像的数量、所述第二输出值和所述第一样本图像的数量以及所述第三输出值和所述样本增强图像的数量，获取所述第二样本图像的第一均值、所述第二样本图像的第二均值和所述样本增强图像的第三均值；根据所述第一均值、所述第二均值和所述第三均值，获取所述第i次训练时的人脸增强模型的数据增强因子。

22、根据本公开的一个实施例，所述调整模块，还用于：获取所述第i次训练时的人脸增强模型中各个卷积层的通道数的降低比例；按照所述降低比例，降低所述第i次训练时的人脸增强模型中各个卷积层的通道数。

23、根据本公开的一个实施例，所述调整模块，还用于：获取所述第i次训练时的人脸增强模型中所述各个卷积层输出的所述第二样本图像的质量评估结果；根据所述质量评估结果，判断是否对所述降低比例进行调整。

24、根据本公开的一个实施例，所述调整模块，还用于：响应于所述第二样本图像的质量评估结果满足图像质量指标，则无需对所述降低比例进行调整；或者响应于所述第二样本图像的质量评估结果未满足图像质量指标，则对未满足图像质量指标的卷积层的通道数的降低比例进行调整。

25、根据本公开的一个实施例，所述第一训练模块，还用于：将所述第二样本图像输入至所述人脸增强模型的卷积网络和线性映射网络，以输出所述第二样本图像的噪声特征和属性特征；将所述噪声特征和所述属性特征输入至所述人脸增强模型的生成网络，由所述生成网络基于所述噪声特征和所述属性特征生成所述第二样本图像对应的样本增强图像。

26、根据本公开的一个实施例，所述调整模块，还用于：获取所述第i次训练时的人脸增强模型的生成网络的第一总损失函数和判别网络的第二总损失函数；根据所述第一总损失函数和第二总损失函数，调整所述第i次训练时的人脸增强模型的模型参数，得到第i+1次训练时的人脸增强模型。

27、根据本公开的一个实施例，所述调整模块，还用于：获取所述第i次训练时的人脸增强模型的预设损失函数；通过学生模型和预先训练完成的教师模型对所述第二样本图像特征提取，以获取所述学生模型提取的第一特征和所述教师模型提取的第二特征；根据所述第一特征和所述第二特征，获取所述学生模型和所述教师模型之间的蒸馏损失函数；通过预先训练完成的人脸识别模型对所述样本增强图像和所述第一样本图像进行特征提取，以获取所述样本增强图像的第三特征和所述第一样本图像的第四特征；根据所述第三特征和所述第四特征，获取所述样本增强图像和所述第一样本图像之间的相似度损失函数；将所述预设损失函数、所述蒸馏损失函数和所述相似度损失函数作为所述第一总损失函数。

28、根据本公开的一个实施例，所述调整模块，还用于：将所述第一样本图像和所述样本增强图像分别输入至所述第i次训练时的人脸增强模型的判别网络中，以获取所述第一样本图像的第一特征值和所述样本增强图像的第二特征值；根据所述第一特征值和所述第二特征值，获取所述第二总损失函数。

29、根据本公开实施例的第四方面，提供一种图像处理装置，所述装置包括：第一获取模块，用于获取待处理图像；输出模块，用于将所述待处理图像输入至目标人脸增强模型，由所述目标人脸增强模型输出所述待处理图像的目标增强图像，其中，所述目标人脸增强模型为采用如第一方面所述的人脸增强模型的训练方法训练出的模型。

30、根据本公开的一个实施例，所述装置，还用于：将所述待处理图像输入至超分模型，由所述超分模型输出所述待处理图像对应的高清图像；将所述目标增强图像输入至人脸解析模型，由所述人脸解析模型输出所述目标增强图像的区域分割图像；对所述高清图像、所述区域分割图像和所述目标增强图像进行融合，以获取所述待处理图像的目标图像。

31、根据本公开实施例的第五方面，提供一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现如本公开第一方面实施例提供的人脸增强模型的训练方法或第二方面实施例提供的图像处理方法。

32、根据本公开实施例的第六方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如本公开第一方面实施例提供的人脸增强模型的训练方法或第二方面实施例提供的图像处理方法。

33、根据本公开实施例的第七方面，提供一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如本公开第一方面提供的人脸增强模型的训练方法或第二方面实施例提供的图像处理方法。

34、本公开的实施例提供的技术方案至少带来以下有益效果：

35、本公开实施例的一种人脸增强模型的训练方法，通过获取第一样本图像和第一样本图像对应的第二样本图像，其中，第一样本图像的清晰度高于第二样本图像的清晰度，基于第一样本图像和第二样本图像对人脸增强模型进行第i次训练，得到第二样本图像的样本增强图像，i的取值为大于或者等于1的整数，基于样本增强图像和第一样本图像，降低人脸增强模型中各个卷积层的通道数，以及调整人脸增强模型的模型参数，得到第i+1次训练时的人脸增强模型，继续采用第一样本图像和第二样本图像，对人脸增强模型进行第i+1次训练，直至满足训练结束条件得到训练后的目标人脸增强模型。通过对第一样本图像进行动态增强处理以得到第二样本图像，并降低人脸增强模型中各个卷积层的通道数，减少了人脸增强模型的运算量，保证了人脸增强模型输出图像的质量，提高了人脸增强模型的精度。

36、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。