图像生成方法以及电子设备与流程

技术特征：
1.一种图像生成方法，包括：获取源图像，其中，所述源图像为对目标物拍摄得到；利用预先训练的转换模型，将所述源图像中的所述目标物转换为虚拟物，生成目标图像，其中，所述虚拟物具有特定虚拟形象，所述转换模型基于样本对训练得到，所述样本对包括针对同一样本物的至少两种不同形象的样本图像，所述样本对利用至少两个生成对抗网络生成，所述至少两个生成对抗网络通过迁移学习得到，所述转换模型为机器学习模型。2.根据权利要求1所述的方法，在所述利用预先训练的转换模型，将所述源图像中的所述目标物转换为虚拟物，生成目标图像之前，还包括：获取随机向量；将所述随机向量输入预先训练的第一生成对抗网络和第二生成对抗网络，得到样本对，其中，所述样本对包括所述第一生成对抗网络生成的第一样本图像以及所述第二生成对抗网络生成的第二样本图像，所述第一样本图像和所述第二样本图像为针对同一样本物的两种不同形象的样本图像；利用所述样本对，对预设的纹理转换网络进行训练，得到转换模型。3.根据权利要求2所述的方法，在所述将所述随机向量输入预先训练的第一生成对抗网络和第二生成对抗网络，得到样本对之前，还包括：获取训练集，其中，所述训练集包括预先采集的第三样本图像；将所述随机向量输入所述第一生成对抗网络的生成器，生成第四样本图像；将所述第四样本图像和所述第三样本图像输入所述第一生成对抗网络的判别器，得到第一损失值；根据所述第一损失值，对所述第一生成对抗网络进行训练，在达到预设训练停止条件的情况下，获得完成训练的所述第一生成对抗网络。4.根据权利要求3所述的方法，所述训练集还包括预先采集的第五样本图像，所述第五样本图像和所述第三样本图像为两种不同形象的样本图像；在所述根据所述第一损失值，对所述第一生成对抗网络进行训练，在达到预设训练停止条件的情况下，获得完成训练的所述第一生成对抗网络之后，还包括：获取完成训练的所述第一生成对抗网络，基于所述第一生成对抗网络，生成初始的第二生成对抗网络；将所述随机向量输入所述第二生成对抗网络的生成器，生成第六样本图像；根据所述第六样本图像，计算身份损失，并将所述第六样本图像和所述第五样本图像输入所述第二生成对抗网络的判别器，得到对抗损失；根据所述身份损失和所述对抗损失，确定第二损失值；根据所述第二损失值，对所述第二生成对抗网络进行训练，在达到预设训练停止条件的情况下，获得完成训练的第二生成对抗网络。5.根据权利要求2所述的方法，在所述利用所述样本对，对预设的纹理转换网络进行训练，得到转换模型之前，还包括：利用预设的几何增强方式，对所述第一样本图像和所述第二样本图像分别进行几何增强，得到更新的所述第一样本图像和所述第二样本图像。6.根据权利要求2或5所述的方法，所述利用所述样本对，对预设的纹理转换网络进行
训练，得到转换模型，包括：将所述第一样本图像输入预设的纹理转换网络，得到纹理转换图像；基于所述纹理转换图像的特征信息，计算第三损失值；根据所述第三损失值调整所述纹理转换网络的网络参数，在达到预设训练停止条件的情况下，获得完成训练的转换模型。7.根据权利要求6所述的方法，所述特征信息包括虚拟形象特征；所述基于所述纹理转换图像的特征信息，计算第三损失值，包括：从所述纹理转换图像中提取虚拟物的第一虚拟形象特征，并从所述第二样本图像中提取虚拟物的第二虚拟形象特征；根据所述第一虚拟形象特征和所述第二虚拟形象特征，计算虚拟形象特征损失；根据所述虚拟形象特征损失，确定第三损失值。8.根据权利要求7所述的方法，所述特征信息还包括图像内容表征特征；在所述根据所述虚拟形象特征损失，确定第三损失值之前，还包括：从所述纹理转换图像中提取第一图像内容表征特征，并从所述第一样本图像中提取第二图像内容表征特征；根据所述第一图像内容表征特征和所述第二图像内容表征特征，计算图像内容表征损失；所述根据所述虚拟形象特征损失，确定第三损失值，包括：根据所述虚拟形象特征损失和所述图像内容表征损失，加权得到第三损失值。9.根据权利要求7所述的方法，所述特征信息还包括图像局部特征；在所述根据所述虚拟形象特征损失，确定第三损失值之前，还包括：从所述纹理转换图像中提取第一图像局部特征，并从所述第一样本图像中提取第二图像局部特征；根据所述第一图像局部特征和所述第二图像局部特征，计算图像局部损失；所述根据所述虚拟形象特征损失，确定第三损失值，包括：根据所述虚拟形象特征损失和所述图像局部损失，加权得到第三损失值。10.一种图像生成方法，应用于虚拟现实设备，包括：获取源图像，其中，所述源图像为对目标物拍摄得到；利用预先训练的转换模型，将所述源图像中的所述目标物转换为虚拟物，生成目标图像，其中，所述虚拟物具有特定虚拟形象，所述转换模型基于样本对训练得到，所述样本对包括针对同一样本物的至少两种不同形象的样本图像，所述样本对利用至少两个生成对抗网络生成，所述至少两个生成对抗网络通过迁移学习得到，所述转换模型为机器学习模型；对所述目标图像进行渲染。11.一种图像生成方法，应用于服务器端，包括：接收客户端发送的图像生成请求，其中，所述图像生成请求携带源图像，所述源图像为对目标物拍摄得到；利用预先训练的转换模型，将所述源图像中的所述目标物转换为虚拟物，生成目标图像，其中，所述虚拟物具有特定虚拟形象，所述转换模型基于样本对训练得到，所述样本对包括针对同一样本物的至少两种不同形象的样本图像，所述样本对利用至少两个生成对抗
网络生成，所述至少两个生成对抗网络通过迁移学习得到，所述转换模型为机器学习模型；将所述目标图像反馈至所述客户端。12.一种电子设备，包括：存储器和处理器；所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现权利要求1-9、10或11任意一项所述图像生成方法。

技术总结
本说明书实施例提供图像生成方法以及电子设备，其中所述图像生成方法包括：获取源图像，利用预先训练的转换模型，将源图像中的目标物转换为虚拟物，生成目标图像，其中，虚拟物具有特定虚拟形象，转换模型基于样本对训练得到，样本对包括针对同一样本物的至少两种不同形象的样本图像，样本对利用至少两个生成对抗网络生成，至少两个生成对抗网络通过迁移学习得到，其中，转换模型为机器学习模型。通过转换模型生成目标图像，提升图像生成效率，降低图像生成成本，通过生成对抗网络生成样本图像，提升了样本生成效率，降低了样本生成成本，根据针对同一样本物的样本对来训练，保证样本对具有对应特征，提升了目标图像的准确度。提升了目标图像的准确度。提升了目标图像的准确度。


技术研发人员：门怡芳 崔苗苗 谢宣松
受保护的技术使用者：阿里巴巴达摩院（杭州）科技有限公司
技术研发日：2022.07.05
技术公布日：2022/10/25