图像生成方法、模型训练方法、装置及电子设备与流程

本技术涉及计算机，具体涉及一种图像生成方法、模型训练方法、装置及电子设备。

背景技术：

1、在人工智能技术领域，通过图像进行身份识别是一个重要的发展方向，如人脸识别、指纹识别、虹膜识别等；将用于进行身份识别的神经网络模型称为对象识别模型。相关技术中，出于避免侵犯或者泄露隐私的目的，会采用图像生成模型自动生成的图像来替代真实采集的图像，来训练对象识别模型。

2、相关技术中，图像生成模型生成的图像存在无法保持身份一致性的问题，身份一致性是指针对同一个身份标识生成的不同图像实质上身份是不一致的，由于针对同一个身份标识生成的不同图像不能保持身份一致性，这样导致对象识别模型的训练效果较差。

技术实现思路

1、有鉴于此，本技术实施例提出了一种图像生成方法、模型训练方法、装置及电子设备，方法通过将采样特征映射得到服从第一分布的第一身份特征，由于第一身份特征与对象识别模型所提取的身份特征服从同一特征分布，可以保证通过第一身份特征驱动生成多张对象图像具有身份一致性，保证了对象识别模型的训练效果。

2、本技术实施例是采用以下技术方案来实现的：

3、第一方面，本技术实施例提供了一种图像生成方法，方法包括：获取采样特征；由驱动特征生成模型将所述采样特征进行特征映射，得到服从第一分布的第一身份特征，所述第一分布是对象识别模型提取的身份特征所服从的特征分布；通过所述第一身份特征，驱动图像生成模型对多张不同的噪声图像分别进行扩散去噪，得到所述第一身份特征所代表身份标识的多张不同的对象图像，所述第一身份特征所代表身份标识的多张不同的对象图像用于对所述对象识别模型进行训练。

4、第二方面，本技术实施例提供了一种对象识别模型的训练方法，方法包括：获取训练数据，所述训练数据包括同一身份标识的多张不同的对象图像，所述同一身份标识的多张不同的对象图像是按照如上的图像生成方法生成的；根据同一身份标识的多张不同的对象图像，迭代训练对象识别模型，直至达到第四训练结束条件。

5、第三方面，本技术实施例提供了一种图像生成装置，装置包括：第一获取模块，用于获取采样特征；映射模块，用于由驱动特征生成模型将所述采样特征进行特征映射，得到服从第一分布的第一身份特征，所述第一分布是对象识别模型提取的身份特征所服从的特征分布；图像生成模块，用于通过所述第一身份特征，驱动图像生成模型对多张不同的噪声图像分别进行扩散去噪，得到所述第一身份特征所代表身份标识的多张不同的对象图像，所述第一身份特征所代表身份标识的多张不同的对象图像用于对所述对象识别模型进行训练。

6、在一些实施方式中，所述图像生成模型包括扩散网络和解码器网络；图像生成模块包括去噪单元和解码单元，针对多张不同的噪声图像中各所述噪声图像，去噪单元，用于由所述扩散网络将所述第一身份特征作为扩散条件，对所述噪声图像进行t轮扩散去噪，得到第t轮扩散去噪输出的目标去噪特征；其中，第i轮扩散去噪输出的去噪特征作为第i+1轮扩散去噪的输入，i和t为正整数，i＜t；解码单元，用于由所述解码器网络对所述目标去噪特征进行解码，得到所述第一身份特征所代表身份标识的对象图像。

7、在一些实施方式中，图像生成装置还包括第一训练准备模块，用于获取第一样本对象图像、所述第一样本对象图像对应的第一样本身份特征以及为所述第一样本对象图像确定的参考轮次k，所述第一样本身份特征是参考对象识别模型对所述第一样本对象图像进行特征提取得到的，所述参考对象识别模型是所述对象识别模型或者是与所述对象识别模型的识别任务相同的其他模型；k为不超过t的正整数；第一编码模块，用于由编码器网络对所述第一样本对象图像进行编码处理，得到第一编码特征；第一加噪模块，用于由所述扩散网络对所述第一编码特征进行k轮扩散加噪，得到扩散加噪结果；所述扩散加噪结果包括第k轮扩散加噪所得到的目标样本加噪特征；第一去噪模块，用于由所述扩散网络以所述第一样本身份特征作为扩散条件，对所述目标样本加噪特征进行k轮扩散去噪处理，得到样本去噪特征；第一解码模块，用于由所述解码器网络对所述样本去噪特征进行解码，得到对象解码图像；第一提取模块，用于由所述参考对象识别模型对所述对象解码图像进行身份特征提取，得到所述样本去噪特征对应的参考身份特征；第一损失计算模块，用于根据所述第一样本身份特征与所述参考身份特征，确定身份特征约束损失；第一参数调整模块，根据所述身份特征约束损失，至少调整所述扩散网络的参数，直至达到第一训练结束条件。

8、在一些实施方式中，第一损失计算模块包括补偿系数确定单元，用于所述参考轮次k，确定补偿系数，所述补偿系数与所述参考轮次k负相关；第一计算单元，用于计算所述第一样本身份特征与所述参考身份特征之间的特征损失；补偿单元，用于通过所述补偿系数对所述特征损失进行补偿，得到身份特征约束损失。

9、在一些实施方式中，所述扩散去噪结果还包括在k轮扩散去噪处理中所预测的噪声，图像生成装置还包括扩散损失计算模块，用于根据在对所述第一编码特征进行k轮扩散加噪所加入的噪声和在对所述目标样本加噪特征进行k轮扩散去噪处理的过程中所预测的噪声，确定扩散损失；第一参数调整模块包括还包括加权计算单元，用于将所述身份特征约束损失与所述扩散损失进行加权处理，得到第一损失；调整单元，用于根据所述第一损失，至少调整所述扩散网络的参数，直至达到第一训练结束条件。

10、在一些实施方式中，第一参数调整模块还用于固定所述编码器网络和所述解码器网络的参数，根据所述身份特征约束损失，调整所述扩散网络的参数，直至达到第一训练结束条件。

11、在一些实施方式中，图像生成装置还包括第二训练准备模块，用于获取第二样本对象图像；第二编码模块，用于由所述编码器网络对所述第二样本对象图像进行特征提取，得到第二编码特征；第二解码模块，用于由所述解码器网络对所述第二编码特征进行解码，得到解码样本对象图像；第二损失计算模块，用于根据所述第二样本对象图像和所述解码样本对象图像，确定第二损失；第二参数调整模块，用于根据所述第二损失调整所述编码器网络和所述解码器网络的参数，直至达到第二训练结束条件。

12、在一些实施方式中，第一获取模块，用于在编码特征分布中进行采样，得到所述采样特征；所述编码特征分布是指所述编码器网络编码得到的编码特征所服从的分布。

13、在一些实施方式中，图像生成装置还包括第三训练准备模块，用于获取第三样本对象图像和所述第三样本对象图像对应的第三样本身份特征，所述第三样本身份特征是所述参考对象识别模型对所述第三样本对象图像进行特征提取得到的；第二映射模块，用于由分布映射网络将所述第三样本身份特征向编码特征分布进行映射，得到预测分布参数；所述编码特征分布是指所述编码器网络编码得到的编码特征所服从的分布；特征还原模块，用于由所述驱动特征生成模型基于所述预测分布参数进行特征还原，得到服从所述第一分布的样本驱动特征；第三损失计算模块，用于基于所述样本驱动特征和所述第三样本身份特征，确定第三损失；第三参数调整模块，用于根据所述第三损失，调整所述驱动特征生成模型和所述分布映射网络的参数，直至达到第三训练结束条件。

14、在一些实施方式中，所述对象识别模型为人脸识别模型，所述对象图像为人脸图像。

15、第四方面，本技术实施例提供了一种对象识别模型的训练装置，装置包括：第二获取模块，用于获取训练数据，所述训练数据包括各身份标识的多张不同的对象图像，所述各身份标识的多张不同的对象图像是按照上述的图像生成方法生成的；对象识别模型训练模块，用于根据各身份标识的多张不同的对象图像，迭代训练对象识别模型，直至达到第四训练结束条件。

16、第五方面，本技术实施例提供了一种电子设备，包括：处理器；存储器，所述存储器上存储有计算机指令，所述计算机指令被所述处理器执行时，实现上述的方法。

17、第六方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令被处理器执行时，实现上述的方法。

18、第七方面，本技术实施例提供了一种计算机程序产品，包括计算机指令，该计算机指令被处理器执行时，实现上述的方法。

19、本技术实施例提供的一种图像生成方法、装置及电子设备，在获取到采样特征之后，先由驱动特征生成模型将采样特征进行特征映射，得到服从第一分布的第一身份特征；通过第一身份特征，驱动图像生成模型对多张不同的噪声图像分别进行扩散去噪，得到第一身份特征所代表身份标识的多张不同的对象图像，由于第一分布是对象识别模型提取的身份特征所服从的特征分布，第一身份特征服从第一分布，第一身份特征服从的分布与对象识别模型提取的身份特征所服从的特征分布一致，即将采样特征映射至对象识别模型所提取特征所在特征空间中，保持用于驱动生成对象图像的第一身份特征与训练对象识别模型过程的特征分布一致，这样，在进行图像生成的过程中，相较于采样特征，第一身份特征的身份信息保持能力更强，对于图像生成过程中身份信息的控制能力更强，由此，可以保证在同一个第一身份特征驱动下生成的不同的对象图像是对应同一身份标识的，有效解决了相关技术中图像生成模型生成的图像无法保持身份一致性的问题。

20、本技术的这些方面或其他方面在以下实施例的描述中会更加简明易懂。