图像生成方法以及电子设备与流程

1.本说明书实施例涉及图像数据处理技术领域，特别涉及一种图像生成方法。


背景技术：

2.随着互联网技术的发展，生成具有真实感的特定虚拟形象的图像，在图像内容创作、社交娱乐、短视频、直播、人物隐私保护等场景中得到越来越多的应用。
3.目前，具有真实感的特定虚拟形象的图像主要是通过设计师利用专业的图像编辑软件进行绘制，来手动生成的。
4.然而，这样的方法对于设计师的绘制能力要求高，导致图像的生成成本高，并且生成效率不足。因此，亟需一种低成本且高效的图像生成方法。


技术实现要素：

5.有鉴于此，本说明书实施例提供了图像生成方法。本说明书一个或者实施例同时涉及一种图像生成装置，一种电子设备，一种计算机可读存储介质以及一种计算机程序，以解决现有技术中存在的技术缺陷。
6.根据本说明书实施例的第一方面，提供了一种图像生成方法，包括：
7.获取源图像，其中，源图像为对目标物拍摄得到；
8.利用预先训练的转换模型，将源图像中的目标物转换为虚拟物，生成目标图像，其中，虚拟物具有特定虚拟形象，转换模型基于样本对训练得到，样本对包括针对同一样本物的至少两种不同形象的样本图像，样本对利用至少两个生成对抗网络生成，至少两个生成对抗网络通过迁移学习得到，转换模型为机器学习模型。
9.可选地，目标物为目标人物，虚拟物为目标人物对应的虚拟人物，样本对包括目标人物样本图像和虚拟人物样本图像。
10.根据本说明书实施例的第二方面，提供了一种图像生成方法，应用于虚拟现实设备，包括：
11.获取源图像，其中，源图像为对目标物拍摄得到；
12.利用预先训练的转换模型，将源图像中的目标物转换为虚拟物，生成目标图像，其中，虚拟物具有特定虚拟形象，转换模型基于样本对训练得到，样本对包括针对同一样本物的至少两种不同形象的样本图像，样本对利用至少两个生成对抗网络生成，至少两个生成对抗网络通过迁移学习得到，转换模型为机器学习模型；
13.对所述目标图像进行渲染。
14.根据本说明书实施例的第三方面，提供了一种图像生成方法，应用于客户端，包括：
15.向服务器端发送图像生成请求，其中，图像生成请求携带源图像，源图像为对目标物拍摄得到；
16.接收服务器端反馈的目标图像，其中，目标图像为服务器端利用预先训练的转换
模型将源图像中的目标物转换为虚拟物生成，虚拟物具有特定虚拟形象，转换模型基于样本对训练得到，样本对包括针对同一样本物的至少两种不同形象的样本图像，样本对利用至少两个生成对抗网络生成，至少两个生成对抗网络通过迁移学习得到，转换模型为机器学习模型。
17.根据本说明书实施例的第四方面，提供了一种图像生成方法，应用于服务器端，包括：接收客户端发送的图像生成请求，其中，图像生成请求携带源图像，源图像为对目标物拍摄得到；
18.利用预先训练的转换模型，将源图像中的目标物转换为虚拟物，生成目标图像，其中，虚拟物具有特定虚拟形象，转换模型基于样本对训练得到，样本对包括针对同一样本物的至少两种不同形象的样本图像，样本对利用至少两个生成对抗网络生成，至少两个生成对抗网络通过迁移学习得到，转换模型为机器学习模型；
19.将目标图像反馈至客户端。
20.根据本说明书实施例的第五方面，提供了一种图像生成装置，包括：
21.第一获取模块，被配置为获取源图像，其中，源图像为对目标物拍摄得到；
22.生成模块，被配置为利用预先训练的转换模型，将源图像中的目标物转换为虚拟物，生成目标图像，其中，虚拟物具有特定虚拟形象，转换模型基于样本对训练得到，样本对包括针对同一样本物的至少两种不同形象的样本图像，样本对利用至少两个生成对抗网络生成，至少两个生成对抗网络通过迁移学习得到，转换模型为机器学习模型。
23.根据本说明书实施例的第六方面，提供了一种电子设备，包括：
24.存储器和处理器；
25.所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现上述图像生成方法。
26.根据本说明书实施例的第七方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该指令被处理器执行时实现上述图像生成方法。
27.根据本说明书实施例的第八方面，提供了一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行上述图像生成方法。
28.本说明书一个或多个实施例中，获取源图像，其中，源图像为对目标物拍摄得到，利用预先训练的转换模型，将源图像中的目标物转换为虚拟物，生成目标图像，其中，虚拟物具有特定虚拟形象，转换模型基于样本对训练得到，样本对包括针对同一样本物的至少两种不同形象的样本图像，样本对利用至少两个生成对抗网络生成，至少两个生成对抗网络通过迁移学习得到，转换模型为机器学习模型。通过预先训练的转换模型生成目标图像，提升了图像生成效率，降低图像生成成本，通过生成对抗网络生成样本图像，提升了样本生成效率，降低了样本生成成本，根据针对同一样本物的至少两种不同形象的样本对来训练，保证了样本对具有对应特征，提升了训练得到的转换模型的准确度，提升了生成目标图像的准确度。
附图说明
29.图1是本说明书一个实施例提供的一种图像生成方法的流程图。
30.图2是本说明书一个实施例提供的一种应用于虚拟现实设备的图像生成方法的流
generativeadversarial networks，频谱归一化生成对抗网络)、sagan(self-attention generativeadversarial networks，自注意力生成对抗网络)、biggan(big generative adversarial networks 大生成对抗网络)、stylegan(style generative adversarial networks，风格生成对抗网络)等。 u-net：一种带有前向通路的编解码网络结构，是一种全卷积网络结构。包括压缩路径和扩展路径，在压缩路径上对某分辨率的输入图像进行下采样处理，在扩展路径上对经过下采样的图像进行扩展得到对应分辨率的输出图像，u-net对于局部特征具有很强的保留能力，使得输出图像的局部细节具有高还原度。
50.pix2pix(pix-to-pix generative adversarial networks，像素生成对抗网络)：一种基于图像像素特征的生成对抗网络。
51.ugatit(unsupervised generative attentional networks for image-to-image translation，无监督注意力生成对抗网络)：一种基于注意力机制的利用无监督训练得到的生成对抗网络。
52.现有技术中，一种方法是基于预先训练的转换模型(pix2pix、ugatit)来生成具有真实感的虚拟形象的图像。然而，该方法需要大量虚拟形象的图像作为训练样本来对纹理转换网络进行训练，得到转换模型。由于特定虚拟形象的图像需要设计师手动生成，难以满足训练样本的数量要求，导致训练成本高，训练效率不足，进而无法生成多种不同类型的转换模型，生成多种不同虚拟形象的图像，可扩展性不足。
53.另一种方法是直接利用少量虚拟形象的图像作为训练样本，对纹理转换网络进行训练，得到转换模型。然而，该方法生成的虚拟形象由于和目标物的真实形象间没有局部特征的对应关系，导致得到的转换模型的准确度不足，生成的目标图像中虚拟物对应的目标物的局部特征发生丢失，目标图像的准确度不足。例如，目标物为人物，虚拟物为虚拟人物，人物头部具有配饰，由于转换模型准确度不足，虚拟人物头部没有配饰。
54.基于上述现有技术的方法中存在的问题，在本说明书中，提供了图像生成方法，本说明书同时涉及一种转换模型训练方法，一种图像生成装置，一种转换模型训练装置，一种电子设备，以及一种计算机可读存储介质，在下面的实施例中逐一进行详细说明。
55.参见图1，图1示出了本说明书一个实施例提供的一种图像生成方法的流程图，具体包括以下步骤。
56.步骤102：获取源图像，其中，源图像为对目标物拍摄得到；
57.源图像为利用图像拍摄设备对目标物进行拍摄得到的包含目标物的真实形象的图像。图像拍摄设备可以为照相机、摄像机、手机等。源图像可以为照片、视频、视频帧等。目标物为图像拍摄设备进行拍摄的对象，可以为人物、动物、风景、物品等。
58.获取源图像可以为从远程图像数据库或者本地图像数据库中获取预先存储的源图像，也可以为接收拍摄设备发送的源图像。
59.具体地，获取包含目标物的真实形象的源图像，其中，源图像为对目标物拍摄得到的。示例性地，目标物为豢养物x，从本地图像数据库中获取包含豢养物x的真实形象的照片。通过获取对目标物拍摄得到的源图像，为后续生成目标图像提供了图像基础。
60.步骤104：利用预先训练的转换模型，将源图像中的目标物转换为虚拟物，生成目标图像，其中，虚拟物具有特定虚拟形象，转换模型基于样本对训练得到，样本对包括针对同一样本物的至少两种不同形象的样本图像，样本对利用至少两个生成对抗网络生成，至
少两个生成对抗网络通过迁移学习得到，转换模型为机器学习模型。
61.转换模型为一种可以将真实形象纹理转换为虚拟形象纹理的机器学习模型。例如，cnn模型(convolutional neural networks，卷积神经网络模型)、vgg模型(visual geometry groupnetwork，视觉几何群网络模型)和u-net网络模型等，在本说明书实施例中，以u-net网络模型为例说明。
62.虚拟物为对应目标物的、具有特定虚拟形象的对象，可以为虚拟人物、虚拟动物、虚拟风景、虚拟物品等。特定虚拟形象为一种特定的虚拟形象特征的形象。例如，动画风格的形象、油画风格的形象、马赛克风格的形象、立体风格的形象等。目标图像为对源图像中目标物的真实形象纹理进行纹理转换后，得到的包含虚拟物的图像。
63.样本对是预先对转换模型进行训练时，根据同一随机向量构建的不同虚拟形象特征的训练样本。生成对抗网络可以将随机向量转换为包含特定虚拟形象或者真实形象的图像。生成对抗网络可以为sngan、sagan、stylegan、stylegan2等生成对抗网络中任意一个，在此不作限定。
64.至少两个生成对抗网络，具体的获取方式为：获得一个预先训练的第一生成对抗网络，利用第一生成对抗网络来进行迁移学习，得到第二生成对抗网络。
65.具体地，利用预先训练的转换模型，将源图像中的目标物的真实形象纹理转换为虚拟形象纹理，得到与目标物对应的虚拟物，生成目标图像。
66.示例性地，利用预先训练的cnn模型，将照片中的豢养物x的真实毛发纹理转换为漫画风格的毛发纹理，得到与豢养物x对应的漫画风格的豢养物x，生成漫画风格的目标图像。可选地，目标物为目标人物，虚拟物为目标人物对应的虚拟人物，样本对包括目标人物样本图像和虚拟人物样本图像。
67.目标人物为图像拍摄设备进行拍摄的人物。虚拟人物为对应目标人物的、具有特定虚拟形象的人物。样本对是由包含目标人物的样本图像和包含虚拟人物的样本图像组成的。
68.示例性地，目标物为目标人物xx，源图像为对目标人物xx进行拍摄得到的照片。虚拟物为目标人物xx对应的马赛克风格的虚拟人物，目标图像为包含虚拟人物的马赛克风格图像。样本对是由包含目标人物xx的照片和包含虚拟人物的马赛克风格图像组成。
69.本说明书实施例中，获取源图像，其中，源图像为对目标物拍摄得到，利用预先训练的转换模型，将源图像中的目标物转换为虚拟物，生成目标图像，其中，虚拟物具有特定虚拟形象，转换模型基于样本对训练得到，样本对包括针对同一样本物的至少两种不同形象的样本图像，样本对利用至少两个生成对抗网络生成，至少两个生成对抗网络通过迁移学习得到，转换模型为机器学习模型。通过预先训练的转换模型生成目标图像，提升了图像生成效率，降低图像生成成本，通过生成对抗网络生成样本图像，提升了样本生成效率，降低了样本生成成本，根据针对同一样本物的至少两种不同形象的样本对来训练，保证了样本对具有对应特征，提升了训练得到的转换模型的准确度，提升了生成目标图像的准确度。
70.可选地，在步骤104之前，还包括如下具体步骤：
71.获取随机向量；
72.将随机向量输入预先训练的第一生成对抗网络和第二生成对抗网络，得到样本对，其中，样本对包括第一生成对抗网络生成的第一样本图像以及第二生成对抗网络生成
的第二样本图像，第一样本图像和第二样本图像为针对同一样本物的两种不同形象的样本图像；
73.利用样本对，对预设的纹理转换网络进行训练，得到转换模型。
74.随机向量为对应预设维度的多维度向量。随机向量输入第一生成对抗网络和第二生成网络后，可以根据该随机向量生成大量样本图像，而不用根据实际采集的图像来构建样本图像。第一样本图像为包含样本物的真实形象的样本图像，第二样本图像为包含样本物的虚拟形象的样本图像。
75.第一生成对抗网络将随机向量转换为图像上像素点的颜色空间下的向量，进而得到包含真实形象的第一样本图像。第一生成对抗网络具有将随机向量转换为第一样本图像的生成器和对第一样本图像进行图像转换效果判别的判别器。生成器具有卷积层(convolutional layer)、归一化层(normalization layer)、池化层(pooling layer)和激活层(rectifiedlinear unit， relu)，卷积层用来提取随机向量中包含的图像特征信息，归一化层用来防止出现梯度爆炸和梯度消失，池化层防止模型在训练过程中出现过拟合，激活层用来对提取的特征进行非线性变化，进而得到深层特征。例如，随机向量为i，利用第一生成对抗网络将随机向量i转换为一个512
×
512分辨率的第一样本图像，在512
×
512个像素点中的任一像素点上，都有rgb(red，green，blue)向量。第二生成对抗网络将随机向量转换为图像上像素点的颜色空间下的向量，进而得到包含虚拟形象的第二样本图像。第二生成对抗网络具有将随机向量转换为第二样本图像的生成器和对第二样本图像进行图像转换效果判别的判别器。生成器具有卷积层(convolutional layer)、归一化层(normalization layer)、池化层(pooling layer) 和激活层(rectifiedlinear unit，relu)。
76.样本物为一种现实世界中的对象，可以为人物、动物、风景、物品等。
77.利用样本对，对预设的纹理转换网络进行训练，得到转换模型，具体为：将第一样本图像作为训练集，将第二样本图像作为验证集，对纹理转换网络进行训练，得到转换模型。
78.具体地，获取随机向量，将随机向量分别输入预先训练的第一生成对抗网络和第二生成对抗网络，对应得到第一样本图像以及第二样本图像，将第一样本图像作为训练集，将第二样本图像作为验证集，对纹理转换网络进行训练，得到转换模型。
79.示例性地，获取40维的随机向量i，将随机向量i输入第一生成对抗网络gs得到第一样本图像s1，将随机向量i输入第二生成对抗网络gt得到第二样本图像s2，将第一样本图像s1 作为训练集，将第二样本图像s2作为验证集，对纹理转换网络进行训练，得到转换模型。本说明书实施例中，通过将同一随机向量，输入不同的生成对抗网络，生成具有对应特征的样本对，提升了训练得到的转换模型的准确度，并且提升了样本生成效率，进而可以生成大量样本来对纹理转换网络进行训练，提升了训练得到的转换模型的准确度，同时降低了样本生成成本。
80.可选地，获取随机向量，包括如下具体步骤：获取预设维度的随机向量。
81.预设维度为预先针对样本物设置的多个特征维度。例如，样本物为桌子，对应的特征维度有：材质(木、塑料、金属、玻璃等)，桌角(圆角、直角、不规则等)，抽屉(无抽屉、单抽屉、双抽屉等)，桌脚(三桌脚、四桌脚、六桌角等)。随机向量为对应预设维度的多维度向量。
获取预设维度的随机向量。具体为：对多个特征维度中任一维度取随机数，直到对所有特征维度都完成取随机数，得到多维度向量，即随机向量。
82.具体地，从预先针对样本物设置的多个特征维度中任一维度取随机数，得到多维度向量，即随机向量。
83.示例性地，样本物为手机，手机的预设维度为：颜色维度0：{0(黑色)，1(白色)，2(红色)，3(蓝色)
……
}、按键维度1：{0(有按键)，1(无按键)}、摄像头数量维度2：{0,1,2,3,4}、屏幕维度3：{0(全面屏)，1(非全面屏)}、品牌维度4：{0(xx品牌)，1(yy品牌)，2 (zz品牌)
……
}，在任一维度上取随机数，得到多维度向量i{00,11,24,30,40}，即随机向量。通过在获取预设维度的随机向量。可以高效生成大量不同的随机向量，提升了随机向量的多样性，进而在后续输入第一生成对抗网络和第二生成对抗网络后，快速得到大量且丰富的样本对，并且提升了训练完成的转换模型的准确度。
84.可选地，在将随机向量输入预先训练的第一生成对抗网络和第二生成对抗网络，得到样本对之前，还包括如下具体步骤：
85.获取训练集，其中，训练集包括预先采集的第三样本图像；
86.将随机向量输入第一生成对抗网络的生成器，生成第四样本图像；
87.将第四样本图像和第三样本图像输入第一生成对抗网络的判别器，得到第一损失值；
88.根据第一损失值，对第一生成对抗网络进行训练，在达到预设训练停止条件的情况下，获得完成训练的第一生成对抗网络。
89.第三样本图像为预先采集的包含样本物的真实形象的图像，可以为针对样本物采集的照片、视频、视频帧等。
90.获取训练集具体为从本地图像数据或者远程图像数据库中获取包含样本物的真实形象的图像集合。
91.第一生成对抗网络的生成器具有卷积层(convolutional layer)、归一化层(normalizationlayer)、池化层(pooling layer)和激活层(rectifiedlinear unit，relu)。第一生成对抗网络的判别器为对第四样本图像的虚拟形象特征和第三样本图像的虚拟形象特征相似度做出判别的分类神经网络，例如，cnn模型，softmax分类器等。
92.第一损失值为根据第四样本图像的虚拟形象特征和第三样本图像的虚拟形象特征，利用第一损失值计算公式，计算得到的损失值，其中，第一损失值计算公式为判别器损失值计算公式。具体的第一损失值计算公式如公式(1)所示：
[0093][0094]
如公式(1)所示，lossd1表示第一损失值，d()表示判别器的耦合矩阵计算，s3表示第三样本图像，s4表示第四样本图像，i表示第i次判别，m表示判别器总共进行m次判别。预设训练停止条件可以为在第一损失值小于等于预先设定的第一损失值阈值，也可以为达到判别器的判别次数，即达到预设的迭代训练的次数，在此不作限定。
[0095]
具体地，获取训练集，其中，训练集包括预先采集的第三样本图像，将随机向量输入第一生成对抗网络的生成器，生成第四样本图像，将第四样本图像和第三样本图像输入第一生成对抗网络的判别器，根据第四样本图像和第三样本图像的虚拟形象特征的相似
度，得到第一损失值，根据第一损失值，对第一生成对抗网络进行训练，在达到预设训练停止条件的情况下，获得完成训练的第一生成对抗网络。
[0096]
示例性地，随机向量为i1，获取训练集t，其中，训练集t包括第三样本图像s3，将随机向量i1输入第一生成对抗网络的生成器gs，生成第四样本图像s4，将第四样本图像s4和第三样本图像s3输入第一生成对抗网络的判别器ds，第四样本图像s4的虚拟形象特征向量为styles4，第三样本图像s3的虚拟形象特征向量为styles3，根据styles4和styles3的相似度，得到第一损失值为0.9，预设的第一损失值阈值为0.32，不小于等于第一损失值阈值，调整第一生成对抗网络的生成器gs和判别器ds的网络参数，继续训练。
[0097]
利用第一生成对抗网络的判别器，计算得到损失值，对第一生成对抗网络进行训练，提升了第一生成对抗网络的准确度，进而在后续可以生成准确的第一样本图像，进而训练得到准确的转换模型。
[0098]
可选地，训练集还包括预先采集的第五样本图像，第五样本图像和第三样本图像为两种不同形象的样本图像；
[0099]
在根据第一损失值，对第一生成对抗网络进行训练，在达到预设训练停止条件的情况下，获得完成训练的第一生成对抗网络之后，还包括如下具体步骤：
[0100]
获取完成训练的第一生成对抗网络，基于第一生成对抗网络，生成初始的第二生成对抗网络；将随机向量输入第二生成对抗网络的生成器，生成第六样本图像；
[0101]
根据第六样本图像，计算身份损失，并将第六样本图像和第五样本图像输入第二生成对抗网络的判别器，得到对抗损失；
[0102]
根据身份损失和对抗损失，确定第二损失值；
[0103]
根据第二损失值，对第二生成对抗网络进行训练，在达到预设训练停止条件的情况下，获得完成训练的第二生成对抗网络。
[0104]
第五样本图像为包含样本物的虚拟形象的图像，第五样本图像和第三样本图像为两种不同形象的样本图像，例如，包含动画风格虚拟形象的图像、包含油画风格虚拟形象的图像、包含马赛克风格虚拟形象的图像、包含立体风格虚拟形象的图像等，第五样本图像可以为设计师根据第三样本图像，利用专业的图像编辑软件绘制得到的。
[0105]
由于现实中第五样本图像的获取成本要高于第三样本图像，第三样本图像的数量一般要远远多于第五样本图像，因而需要先对样本数量更多的第一生成对抗网络进行训练，可以得到高准确度的第一生成对抗网络，进而利用第一生成对抗网络进行迁移学习，得到第二生成对抗网络。
[0106]
对抗损失值为根据第六样本图像的虚拟形象特征和第五样本图像的虚拟形象特征，利用对抗损失计算公式，计算得到的损失值，其中，对抗损失计算公式为判别器损失值计算公式。具体的对抗损失计算公式如公式(2)所示：
[0107][0108]
如公式(2)所示，lossd表示对抗损失，d()表示判别器的耦合矩阵计算，s5表示第五样本图像，s6表示第六样本图像，i表示第i次判别，m表示判别器总共进行m次判别。将随机向量分别输入第一生成对抗网络的生成器和第二生成对抗网络的生成器，对应得到第四样本图像和第六样本图像。
[0109]
身份损失为根据第六样本图像中的虚拟对象的身份特征和第四样本图像中的虚拟对象的身份特征，利用身份损失计算公式，计算得到的损失值。具体的身份损失计算公式如公式(3) 所示：
[0110]
loss id＝1-cos(z
id
(s6)，z
id
(s4))
ꢀꢀꢀ
(3)
[0111]
如公式(3)所示，loss id表示身份损失，z_id()表示提取得到样本图像中虚拟对象的身份特征向量。s6表示第六样本图像，s4表示第四样本图像。
[0112]
根据身份损失和对抗损失，确定第二损失值，具体为：根据预设的对抗损失的损失值权重和身份损失的损失值权重，对对抗损失和身份损失进行加权计算，得到对第二损失值。具体的第二损失值计算公式如公式(4)所示：
[0113]
lossd2＝ωdlossd ω
id
loss id
ꢀꢀꢀ
(4)
[0114]
如公式(4)所示，lossd2表示第二损失值，ω_d表示预设的对抗损失的损失值权重，lossd 表示对抗损失，ω_id表示1预设的身份损失的损失值权重，loss id表示身份损失。
[0115]
预设训练停止条件可以为在第二损失值小于等于预先设定的第二损失值阈值，也可以为达到判别器的判别次数，即达到预设的迭代训练的次数，在此不作限定。
[0116]
具体地，获取完成训练的第一生成对抗网络，基于第一生成对抗网络，生成初始的第二生成对抗网络，将随机向量输入第一生成对抗网络的生成器，生成第六样本图像，根据第六样本图像和第四样本图像的身份特征，计算身份损失，并将第六样本图像和第五样本图像输入第二生成对抗网络的判别器，根据第六样本图像和第五样本图像的虚拟形象特征的相似度，得到对抗损失，根据身份损失和对抗损失，确定第二损失值，根据第二损失值，对第二生成对抗网络进行训练，在达到预设训练停止条件的情况下，获得完成训练的第二生成对抗网络。示例性地，将随机向量l2输入第一生成对抗网络的生成器gs，生成第六样本图像s6，根据第六样本图像s6的身份特征的身份特征向量ids6和第四样本图像s4的身份特征的身份特征向量ids4，计算身份损失为0.3，并将第六样本图像s6和第五样本图像s5输入第一生成对抗网络的判别器ds，第六样本图像s6的虚拟形象特征向量为styles6，第五样本图像s5的虚拟形象特征向量为styles5，根据styles6和styles5的相似度，得到对抗损失为0.4，预设的身份损失的损失值权重为0.4、对抗损失的损失值权重为0.6，通过加权计算得到第二损失值为0.36，预设的第二损失值阈值为0.4，小于第二损失值阈值，获得完成训练的第二生成对抗网络，包括生成器gt和判别器dt。需要说明的是，随机向量l2和上述实施例中的随机向量l1可以相同，也可以不同。
[0117]
可选地，在获得完成训练的第二生成对抗网络之后，还可以直接用第一生成对抗网络的生成器的前4层的网络系数替换第二生成对抗网络的生成器的对应前4层的网络系数。因为第二生成对抗网络的生成器的前4层是根据输入的向量，构建得到图像轮廓的网络层。第一生成对抗网络和第二生成对抗网络在后续会根据输入的输入随机向量生成具有特征对应的第一图像样本和第二图像样本，因而需要保证两个生成对抗网络的具有近似于一致的图像轮廓构建能力，进而保证对纹理转换网络的训练效果，得到准确度更高的转换模型。
[0118]
通过对完成训练的第一生成对抗网络进行的迁移学习，保证了获得的第二生成对抗网络和第一生成对抗网络之间的对应性，进而保证了生成样本对的特征对应性，提升了
后续训练得到的转换模型的准确度，并且提升了训练效率。另外，根据身份损失和对抗损失对第一生成对抗网络进行训练，提升了训练得到的第二生成对抗网络的模型的准确度，进而提升了后续生成的第二样本图像的准确度，再进一步提升了训练得到的转换模型的准确度。
[0119]
可选地，在利用样本对，对预设的纹理转换网络进行训练，得到转换模型之前，还包括如下具体步骤：
[0120]
利用预设的几何增强方式，对第一样本图像和第二样本图像分别进行几何增强，得到更新的第一样本图像和第二样本图像。
[0121]
由于第一生成对抗网络和第二生成对抗网络之间不可避免存在一定的差异，使得生成的第一样本图像中的真实形象和第二样本图像中的虚拟形象，在空间位置上出现一定的偏差，进而在样本对中引入新的误差，影响后续对纹理转换网络的训练效果，影响转换模型的准确度。几何增强为对样本图像进行图像空间变化的方式，包括尺度缩放、旋转、对称、平移等通过几何增强可以使得样本图像的数据得到增强，即样本图像具有更多不同空间特征，例如，若直接将人物照片作为训练样本对纹理转换网络进行训练，由于照片一般为特定的角度，人物在照片中的位置、角度相对固定。通过几何增强对样本图像进行空间变换，相比于照片可以得到空间丰富度更高的样本，对于转换模型的训练效果更佳。
[0122]
预设的几何增强方式包括尺度缩放、旋转、对称、平移等方式中的至少一种。
[0123]
具体地，设定尺度缩放、旋转、对称、平移中至少一种作为几何增强方式，利用该几何增强方式对第一样本图像和第二样本图像分别进行对应操作，得到更新的第一样本图像和第二样本图像。
[0124]
示例性地，第一样本图像为包含真实人物的图像，第二样本图像为包含油画风格虚拟人物的图像，设定旋转作为几何增强方式，对第一样本图像和第二样本图像进行旋转操作，使得第一样本图像中的真实人物和第二样本图像中的油画风格虚拟人物在空间上得到对齐，得到更新的第一样本图像和第二样本图像。
[0125]
通过利用预设的几何增强方式，对第一样本图像和第二样本图像进行几何增强，减少了第一样本图像和第二样本图像在空间上的误差，提升了样本对的特征对应性和丰富度，提升了后续训练得到的转换模型的准确度。
[0126]
可选地，利用样本对，对预设的纹理转换网络进行训练，得到转换模型，包括如下具体步骤：将第一样本图像输入预设的纹理转换网络，得到纹理转换图像；
[0127]
基于纹理转换图像的特征信息，计算第三损失值；
[0128]
根据第三损失值调整纹理转换网络的网络参数，在达到预设训练停止条件的情况下，获得完成训练的转换模型。
[0129]
纹理转换图像为与第二样本图像具有相近的虚拟形象特征的图像。纹理转换图像的特征信息为虚拟形象特征、图像内容表征特征和图像局部特征中的至少一种类型。
[0130]
第三损失值为根据纹理转换图像的特征信息与第一样本图像的特征信息、纹理转换图像的特征信息与第一样本图像的特征信息中至少一组，计算得到的损失值。预设训练停止条件可以为在第三损失值小于等于预先设定的第三损失值阈值，也可以为训练次数达到预设训练次数，在此不作限定。
[0131]
根据纹理转换图像的特征信息，计算第三损失值，具体为：根据纹理转换图像的特
征信息的类型，选择第一样本图像和/或第二样本图像作为验证集，计算第三损失值。例如，当纹理转换图像的特征信息为虚拟形象特征时，确定第二样本图像作为验证集计算第三损失值，当纹理转换图像的特征信息为图像内容表征特征时，确定第一样本图像作为验证集计算第三损失值，当纹理转换图像的特征信息为图像局部特征时，确定第一样本图像作为验证集计算第三损失值。
[0132]
具体地，将第一样本图像作为训练集输入预设的纹理转换网络，得到纹理转换图像，根据纹理转换图像的特征信息的类型，选择第一样本图像和/或第二样本图像作为验证集，计算第三损失值，根据第三损失值调整纹理转换网络的网络参数，在达到预设训练停止条件的情况下，获得完成训练的转换模型。
[0133]
示例性地，将第一样本图像s1作为训练集，输入预设的vgg网络，得到纹理转换图像s，纹理转换图像的特征信息的类型为虚拟形象特征，确定第二样本图像s2作为验证集，根据训练集和验证集的虚拟形象特征，计算得到第三损失值loss d3，根据第三损失值loss d3调整纹理转换网络的网络参数，在训练次数i达到预设训练次数m的情况下，获得完成训练的转换模型。
[0134]
可选地，通过如下方式计算第三损失值：根据纹理转换图像的特征信息的类型，计算对应类型下的损失值，进行加权计算，得到第三损失值。相应地，在一种计算第三损失值的实现方式中，第三损失值的具体计算方法如公式(5)所示：
[0135]
loss d3＝ω
style loss style ω
cont
loss cont ω
exp
loss exp
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0137]
如公式(5)所示，loss d3表示第三损失值，ω_style表示虚拟形象特征损失的损失值权重，loss style表示虚拟形象特征损失的损失值，ω_cont表示图像内容表征损失的损失值权重， loss cont表示图像内容表征损失，ω_exp表示图像局部损失的损失值权重，loss exp表示图像局部损失。
[0138]
基于纹理转换图像的特征信息，计算得到第三损失值，对纹理转换网络进行训练，可以训练得到准确度更高的转换模型，进而提升了转换得到目标图像的准确度。
[0139]
可选地，特征信息包括虚拟形象特征；
[0140]
基于纹理转换图像的特征信息，计算第三损失值，包括如下具体步骤：
[0141]
从纹理转换图像中提取虚拟物的第一虚拟形象特征，并从第二样本图像中提取虚拟物的第二虚拟形象特征；
[0142]
根据第一虚拟形象特征和第二虚拟形象特征，计算虚拟形象特征损失；
[0143]
根据虚拟形象特征损失，确定第三损失值。
[0144]
虚拟形象特征为图像中的虚拟物的风格特征，具体形式为特征向量，例如，图像中的虚拟物为动画风格的虚拟物，虚拟形象特征为动画风格特征。
[0145]
根据第一虚拟形象特征和第二虚拟形象特征，计算虚拟形象特征损失的方法，具体为：根据第一虚拟形象特征和第二虚拟形象特征，利用虚拟形象特征损失计算函数，计算得到虚拟形象特征损失，其中，虚拟形象特征损失计算函数为判别器损失值计算函数。虚拟形象特征损失计算函数的计算公式如下：
[0146][0147]
如公式(6)所示，loss style表示虚拟形象特征损失，d()表示判别器的耦合矩阵
计算， s2表示第二样本图像，s表示纹理转换图像，i表示第i次判别，m表示判别器总共进行m 次判别。
[0148]
具体地，从纹理转换图像中提取虚拟物的第一虚拟形象特征，并从第二样本图像中提取虚拟物的第二虚拟形象特征，将第一虚拟形象特征和第二虚拟形象特征输入预先训练的判别器，得到虚拟形象特征损失，根据虚拟形象特征损失，确定第三损失值。
[0149]
示例性地，从纹理转换图像s中提取动画风格人物的动画风格特征style1，并从第二样本图像s2中提取动画风格人物的动画风格特征style2，将动画风格特征style1和动画风格特征style2输入预先训练的判别器，得到虚拟形象特征损失loss style，根据虚拟形象特征损失 loss style，确定第三损失值loss d3。
[0150]
通过从纹理转换图像中提取虚拟物的第一虚拟形象特征，并从第二样本图像中提取虚拟物的第二虚拟形象特征，并根据第一虚拟形象特征和第二虚拟形象特征，计算虚拟形象特征损失，根据虚拟形象特征损失，确定第三损失值，对纹理转换网络进行训练，可以训练得到准确度更高的转换模型，进而提升了转换得到目标图像的准确度。
[0151]
.可选地，特征信息还包括图像内容表征特征；在根据虚拟形象特征损失，确定第三损失值之前，还包括如下具体步骤：
[0152]
从纹理转换图像中提取第一图像内容表征特征，并从第一样本图像中提取第二图像内容表征特征；
[0153]
根据第一图像内容表征特征和第二图像内容表征特征，计算图像内容表征损失；
[0154]
根据虚拟形象特征损失，确定第三损失值，包括：
[0155]
根据虚拟形象特征损失和图像内容表征损失，加权得到第三损失值。
[0156]
图像内容表征特征为图像中的目标物和虚拟物的图像全局特征点的表征特征，具体形式为特征向量，例如，图像中的目标物为人物，图像内容表征特征有五官、脸型、四肢等轮廓特征，图像内容表征特征为轮廓特征。
[0157]
根据第一图像内容表征特征和第二图像内容表征特征，计算虚拟形象特征损失的方法，具体为：根据第一图像内容表征特征和第二图像内容表征特征，利用预先训练的vgg模型，得到虚拟形象特征损失。图像内容表征损失的计算公式如下：
[0158]
loss cont＝||vgg(s1)vgg(s)||
ꢀꢀꢀ
(7)
[0159]
如公式(7)所示，loss cont表示图像内容表征损失，vgg()表示vgg的耦合矩阵计算， s1表示第一样本图像，s表示纹理转换图像。
[0160]
根据虚拟形象特征损失和图像内容表征损失，加权得到第三损失值，具体可以通过如下方式实现：按照预先确定的虚拟形象特征损失的损失值权重和图像内容表征损失的损失值权重，对虚拟形象特征损失和图像内容表征损失进行加权计算，得到第三损失值。相应地，在另一种计算第三损失值的实现方式中，第三损失值的计算公式如下：
[0161]
loss d3＝ω
style
loss style ω
cont
loss cont
ꢀꢀꢀ
(8)
[0162]
如公式(8)所示，loss d3表示第三损失值，ω_style表示虚拟形象特征损失的损失值权重，loss style表示虚拟形象特征损失，ω_cont表示图像内容表征损失的损失值权重，loss cont表示图像内容表征损失。
[0163]
具体地，从纹理转换图像中提取第一图像内容表征特征，并从第一样本图像中提取第二图像内容表征特征，将第一图像内容表征特征和第二图像内容表征特征输入预先训
练的vgg模型，得到虚拟形象特征损失，根据虚拟形象特征损失和图像内容表征损失，加权得到第三损失值。
[0164]
示例性地，从纹理转换图像s中提取第一图像内容表征特征cont1，并从第一样本图像中提取第二图像内容表征特征cont2，将第一图像内容表征特征cont1和第二图像内容表征特征 cont2输入预先训练的vgg模型，得到虚拟形象特征损失loss cont，根据虚拟形象特征损失loss style和图像内容表征损失loss cont，加权得到第三损失值loss d3。
[0165]
通过从纹理转换图像中提取虚拟物的第一图像内容表征特征，并从第二样本图像中提取虚拟物的第二图像内容表征特征，并根据第一图像内容表征特征和第二图像内容表征特征，计算图像内容表征损失，根据虚拟形象特征损失和图像内容表征特征损失，加权计算得到第三损失值，对纹理转换网络进行训练，可以训练得到准确度更高的转换模型，进而提升了转换得到目标图像的准确度。
[0166]
可选地，特征信息还包括图像局部特征；在根据虚拟形象特征损失，确定第三损失值之前，还包括如下具体步骤：
[0167]
从纹理转换图像中提取第一图像局部特征，并从第一样本图像中提取第二图像局部特征；根据第一图像局部特征和第二图像局部特征，计算图像局部损失；
[0168]
根据虚拟形象特征损失，确定第三损失值，包括：
[0169]
根据虚拟形象特征损失和图像局部损失，加权得到第三损失值。
[0170]
图像局部特征为图像中的目标物和虚拟物的图像局部特征点的表征特征，具体形式为特征向量，例如，图像中的目标物为人物，图像内容表征特征有眼睛位置特征、眼睛形状特征、嘴唇位置特征、嘴部形状特征。
[0171]
根据第一图像局部特征和第二图像局部特征，计算图像局部损失的方法，具体为：利用第二图像局部特征构建的回归分析函数，对纹理转换图像的第一图像局部特征进行特征回归分析，得到虚拟形象特征损失。图像局部损失的计算公式如下：
[0172]
loss exp＝||rexp(s)-α||
ꢀꢀꢀ
(9)
[0173]
如公式(9)所示，loss exp表示图像局部损失，rexp()表示回归分析函数，s表示纹理转换图像，α表示参考回归值。
[0174]
根据虚拟形象特征损失和图像局部损失，加权得到第三损失值，具体可以通过如下方式实现：按照预先确定的虚拟形象特征损失的损失值权重和图像局部损失的损失值权重，对虚拟形象特征损失和图像局部损失进行加权计算，得到第三损失值。相应地，在再一种计算第三损失值的实现方式中，第三损失值的计算公式如下：
[0175]
loss d3＝ω
style
loss style ω
exp
loss exp
ꢀꢀꢀ
(10)
[0176]
如公式(10)所示，loss d3表示第三损失值，ω_style表示虚拟形象特征损失的损失值权重，loss style表示虚拟形象特征损失，ω_exp表示图像局部损失的损失值权重，loss exp 表示图像局部损失。
[0177]
具体地，从纹理转换图像中提取第一图像内容表征特征，并从第一样本图像中提取第二图像内容表征特征，利用第二图像局部特征构建的回归分析函数，对第一图像局部特征进行特征回归分析，得到虚拟形象特征损失，根据虚拟形象特征损失和图像局部损失，加权得到第三损失值。
[0178]
示例性地，从纹理转换图像s中提取第一图像局部特征exp1，并从第一样本图像中
提取第二图像局部特征exp2，利用第二图像局部特征exp2构建的回归分析函数rexp()，对第一图像局部特征exp1进行特征回归分析，得到图像局部损失loss exp，根据虚拟形象特征损失loss style和图像局部损失loss exp，加权得到第三损失值loss d3。
[0179]
通过从纹理转换图像中提取虚拟物的第一图像局部特征，并从第二样本图像中提取虚拟物的第二图像局部特征，并根据第一图像局部特征和第二图像局部特征，计算图像局部损失，根据虚拟形象特征损失和图像局部损失，加权计算得到第三损失值，对纹理转换网络进行训练，可以训练得到准确度更高的转换模型，进而提升了转换得到目标图像的准确度。
[0180]
可选地，纹理转换网络为带有前向通道的编解码网络结构。
[0181]
虽然之前通过第一生成对抗网络和第二生成对抗网络生成了具有较高特征对应性的样本对，但由于第二生成对抗网络与第一对抗生成网络之间的差异性，不可避免会导致样本对上的特征信息出现丢失，使得后续对纹理转换网络进行训练时，产生纹理失真的情况。因而可以使用带有前向通道的编解码网络结构的纹理转换网络，保留第一样本图像和第二样本图像上的局部特征信息，使得训练得到的转换模型对局部特征具有较强的转换能力，可以通过局部特征还原全局特征，得到更多图像内容。得到准确度更高的转换模型，进而得到细节还原高的目标图像。
[0182]
参见图2，图2示出了本说明书一个实施例提供的一种应用于虚拟现实设备的图像生成方法的流程图，包括：
[0183]
步骤202：获取源图像，其中，源图像为对目标物拍摄得到；
[0184]
步骤204：利用预先训练的转换模型，将源图像中的目标物转换为虚拟物，生成目标图像，其中，虚拟物具有特定虚拟形象，转换模型基于样本对训练得到，样本对包括针对同一样本物的至少两种不同形象的样本图像，样本对利用至少两个生成对抗网络生成，至少两个生成对抗网络通过迁移学习得到，转换模型为机器学习模型；
[0185]
步骤206：对目标图像进行渲染。
[0186]
虚拟场景显示设备为一种根据目标图像、构建得到虚拟场景并进行显示的设备，例如，ar 设备(augmented reality，增强显示设备)、vr设备(virtual reality，虚拟现实设备)、mr 设备(mixed reality，混合现实设备)、xr设备(extended reality，增强现实设备)等。获取源图像。具体方式已经在图1实施例中说明，在此不再赘述。
[0187]
利用预先训练的转换模型，将源图像中的目标物转换为虚拟物，生成目标图像。具体方式已经在图1实施例中说明，在此不再赘述。
[0188]
对目标图像渲染，可以为利用预先设定的渲染模板，对目标图像进行渲染，例如，目标图像为漫画风格的人物图像，利用预先设定的漫画风格的虚拟场景渲染模板，对漫画风格的人物图像进行渲染，得到漫画风格的虚拟场景；也可以为结合其他的源图像，对目标图像进行渲染，例如，目标图像为漫画风格的人物图像，结合其他的真实人物照片和真实环境照片，拼接得到真实和虚拟结合的初始虚拟场景，对初始虚拟场景进行渲染后得到漫画风格和真实结合的虚拟场景。
[0189]
本说明书实施例中，通过预先训练的转换模型生成目标图像，提升了图像生成效率，降低图像生成成本，通过生成对抗网络生成样本图像，提升了样本生成效率，降低了样本生成成本，根据针对同一样本物的至少两种不同形象的样本对来训练，保证了样本对具
有对应特征，提升了训练得到的转换模型的准确度，提升了生成目标图像的准确度，对目标图像进行渲染，增强了目标图像的显示效果，提升了用户体验。
[0190]
参见图3，图3示出了本说明书一个实施例提供的一种应用于客户端的图像生成方法的流程图，包括：
[0191]
步骤302：向服务器端发送图像生成请求，其中，图像生成请求携带源图像，源图像为对目标物拍摄得到；
[0192]
步骤304：接收服务器端反馈的目标图像，其中，目标图像为服务器端利用预先训练的转换模型将源图像中的目标物转换为虚拟物生成，虚拟物具有特定虚拟形象，转换模型基于样本对训练得到，样本对包括针对同一样本物的至少两种不同形象的样本图像，样本对利用至少两个生成对抗网络生成，至少两个生成对抗网络通过迁移学习得到，转换模型为机器学习模型。
[0193]
客户端为可以实现图像生成的应用程序的客户端。
[0194]
服务器端为可以实现图像生成的应用程序的服务器端。
[0195]
其中，应用程序可以为saas(software as service，软件即服务)的模式。
[0196]
图像生成请求为客户端发送给服务器端，调用对应的图像生成功能，来实现从源图像到目标图像的转换。
[0197]
本说明书实施例中，通过客户端向服务器端发送图像生成请求并得到反馈的目标图像，提升了图像生成的便捷性和效率，通过预先训练的转换模型生成目标图像，提升了图像生成效率，降低图像生成成本，通过生成对抗网络生成样本图像，提升了样本生成效率，降低了样本生成成本，根据针对同一样本物的至少两种不同形象的样本对来训练，保证了样本对具有对应特征，提升了训练得到的转换模型的准确度，提升了生成目标图像的准确度。
[0198]
参见图4，图4示出了本说明书一个实施例提供的一种应用于服务器端的图像生成方法的流程图，包括：
[0199]
步骤402：接收客户端发送的图像生成请求，其中，图像生成请求携带源图像，源图像为对目标物拍摄得到；
[0200]
步骤404：利用预先训练的转换模型，将源图像中的目标物转换为虚拟物，生成目标图像，其中，虚拟物具有特定虚拟形象，转换模型基于样本对训练得到，样本对包括针对同一样本物的至少两种不同形象的样本图像，样本对利用至少两个生成对抗网络生成，至少两个生成对抗网络通过迁移学习得到，转换模型为机器学习模型；
[0201]
步骤406：将目标图像反馈至客户端。
[0202]
客户端为可以实现图像生成的应用程序的客户端。
[0203]
服务器端为可以实现图像生成的应用程序的服务器端。
[0204]
其中，应用程序可以为saas(software as service，软件即服务)的模式。
[0205]
图像生成请求为客户端发送给服务器端，调用对应的图像生成功能，来实现从源图像到目标图像的转换。
[0206]
本说明书实施例中，通过接收客户端发送的图像生成请求并反馈目标图像，提升了图像生成的便捷性和效率，通过预先训练的转换模型生成目标图像，提升了图像生成效率，降低图像生成成本，通过生成对抗网络生成样本图像，提升了样本生成效率，降低了样
本生成成本，根据针对同一样本物的至少两种不同形象的样本对来训练，保证了样本对具有对应特征，提升了训练得到的转换模型的准确度，提升了生成目标图像的准确度。
[0207]
参见图5，图5示出了本说明书一个实施例提供的一种转换模型训练方法的流程图，具体包括以下步骤。
[0208]
步骤502：获取随机向量；
[0209]
步骤504：将随机向量输入预先训练的第一生成对抗网络和第二生成对抗网络，得到样本对，其中，样本对包括第一生成对抗网络生成的第一样本图像以及第二生成对抗网络生成的第二样本图像，第一样本图像和第二样本图像为针对同一样本物的两种不同形象的样本图像；步骤506：利用样本对，对预设的纹理转换网络进行训练，得到转换模型。
[0210]
该说明书实施例中的方法已在图1实施例中具体说明，在此不再赘述。
[0211]
本说明书实施例中，获取随机向量，将随机向量输入预先训练的第一生成对抗网络和第二生成对抗网络，得到样本对，其中，样本对包括第一生成对抗网络生成的第一样本图像以及第二生成对抗网络生成的第二样本图像，第一样本图像和第二样本图像为针对同一样本物的两种不同形象的样本图像，利用样本对，对预设的纹理转换网络进行训练，得到转换模型。通过相同的随机向量，输入不同的生成对抗网络，生成具有对应特征的样本对，提升了训练得到的转换模型的准确度，并且提升了样本生成效率，进而可以生成大量样本来对纹理转换网络进行训练，提升了训练得到的转换模型的准确度，同时降低了样本生成成本。
[0212]
图6示出了本说明书一个实施例提供的一种转换模型训练方法的样本对生成示意图。
[0213]
如图6所示，真实形象的图像数据由于更容易进行采集，因而真实形象的图像数据分布更大，对应地，虚拟形象的图像数据需要设计师进行手工绘制，生成效率低且成本高，因而虚拟形象的图像数据分布更稀疏，如图中五角星所示。通过第二生成对抗网络的生成器，根据输入的随机向量，生成多个第二图像样本，如图中的七角星所示，提升了了虚拟形象的图像数据分布密度。对生成的第二图像样本进行几何增强，对第二图像样本进行空间变换，得到更新的第二图像样本，如图中四角星所示，更进一步提升了了虚拟形象的图像数据分布密度，使得虚拟形象的图像数据分布可以与真实形象的图像数据分布相对称，得到对称的样本，来对后续的纹理转换网络进行训练。
[0214]
图7示出了本说明书一个实施例提供的一种转换模型训练方法的结构示意图。
[0215]
如图7所示，将随机向量分别输入第一生成对抗网络的生成器gs和第二生成对抗网络的生成器gt，对应得到第一图像样本和第二图像样本，再对第一图像样本和第二图像样本进行几何增强，得到更新后的第一图像样本和第二图像样本，将第一图像样本输入纹理转换网络，得到纹理转换图像，根据纹理转换图像的虚拟形象特征和第二图像样本的虚拟形象特征，利用判别器得到虚拟形象特征损失，根据纹理转换图像的图像内容表征特征和第一图像样本的图像内容表征特征，计算得到图像内容表征损失，根据纹理转换图像的图像局部特征和第一图像样本的图像局部特征，计算得到图像局部损失，对上述三个损失进行加权计算得到第三损失值，利用第三损失值对纹理转换网络进行训练，得到转换模型。
[0216]
下述结合附图8，以本说明书提供的图像生成方法在动画图像的生成的应用为例，对图像生成方法进行进一步说明。其中，图8示出了本说明书一个实施例提供的一种应用于
动画图像生成的图像生成方法的处理过程流程图，具体包括以下步骤。
[0217]
步骤802：获取训练集；
[0218]
训练集包括真实人物的照片wt’和动画人物的图像yt’；
[0219]
步骤804：随机选取预设维度的随机向量z；
[0220]
步骤806：将随机向量z输入初始第一生成对抗网络的生成器gs，得到第一人物样本图像 wt；
[0221]
第一生成对抗网络为第二代风格生成对抗网络(stylegan2)，包括生成器gs和判别器ds。步骤808：将第一人物样本图像wt和真实人物的照片wt’，输入第一生成对抗网络的判别器ds，得到第一对抗损失；
[0222]
步骤810：根据第一对抗损失对生成器gs和判别器ds进行训练，得到训练完成的第一生成对抗网络；
[0223]
步骤812：根据第一生成对抗网络，确定初始第二生成对抗网络；
[0224]
初始第二生成对抗网络与第一生成对抗网络具有相同的网络结构和网络系数，初始第二生成对抗网络包括生成器gt和判别器dt。
[0225]
步骤814：将随机向量z输入第一生成对抗网络的生成器gs，得到第一人物样本图像wt，并将随机向量z输入第二生成对抗网络的生成器gt，得到第一动画样本图像yt；
[0226]
步骤816：根据第一人物样本图像wt和第一动画样本图像yt的身份特征，计算身份损失；步骤818：将第一动画样本图像yt和动画人物的图像yt’，输入第二生成对抗网络的判别器 dt，得到第二对抗损失；
[0227]
步骤820：根据身份损失和第二对抗损失对生成器gt和判别器dt进行训练，得到训练完成的第二生成对抗网络；
[0228]
步骤822：将随机向量z输入训练完成的第一生成对抗网络和第二生成对抗网络，得到样本对；
[0229]
样本对包括照片样本图像xs和动画样本图像xt。
[0230]
步骤824：将照片样本图像xs输入预设的纹理转换网络，得到纹理转换图像xg；
[0231]
纹理转换网络为带有前向通道的编解码网络结构(u-net)。
[0232]
步骤826：基于纹理转换图像xg的动画风格特征sytle、图像内容表征特征cont和图像局部特征exp，得到损失值loss；
[0233]
步骤828：根据损失值loss对纹理转换网络进行训练，在满足预设训练条件时，得到转换模型；
[0234]
步骤830：接收客户端发送的待转换照片；
[0235]
步骤832：利用转换模型，将待转换照片转换为目标动画图像，并发送给客户端，以使客户端进行显示。
[0236]
本说明书实施例中，通过第一生成对抗网络和第二生成对抗网络生成照片样本图像和动画样本图像，提升了样本生成效率，降低了样本生成成本，根据相同人物特征维度下的得到的随机特征向量来生成真实形象的照片人物和虚拟形象的动画人物，进而进行训练，保证了样本对的特征对应性，提升了训练得到的转换模型的准确度，提升了生成目标动画图像的准确度，通过预先训练的转换模型生成目标图像，提升了动画图像的生成效率，降低动画图像的生成成本，提升了用户体验，由于采用了u-net网络，保留了人物的局部特征，
进而可以根据局部特征还原全局特征，得到更多图像内容的动画图像。
[0237]
图9示出了本说明书一个实施例提供的一种图像生成系统的结构示意图。如图9所示，该系统包括：
[0238]
客户端902，用于向服务器端904发送图像生成请求，其中，图像生成请求携带源图像，源图像为对目标物拍摄得到；接收服务器端904反馈的目标图像。
[0239]
服务器端904，用于接收客户端902发送的图像生成请求，其中，图像生成请求携带源图像，源图像为对目标物拍摄得到；利用预先训练的转换模型，将源图像中的目标物转换为虚拟物，生成目标图像，其中，虚拟物具有特定虚拟形象，转换模型基于样本对训练得到，样本对包括针对同一样本物的至少两种不同形象的样本图像，样本对利用至少两个生成对抗网络生成，至少两个生成对抗网络通过迁移学习得到，转换模型为机器学习模型；将目标图像反馈至客户端902。
[0240]
上述客户端902和服务器端904的具体执行方法已在已在图1实施例中具体说明，在此不再赘述。
[0241]
图10示出了本说明书一个实施例提供的一种图像生成系统的处理流程图。
[0242]
如图10所示，服务器端904从样本数据库获取训练集。服务器端904基于训练集中样本图像的特征，得到随机向量。服务器端904将随机向量输入预先训练的第一生成对抗网络和第二生成对抗网络，得到样本对。服务器端904利用样本对，对预设的纹理转换网络进行训练，得到转换模型。客户端902向服务器端904发送图像生成请求。服务器端904利用转换模型，将图像生成请求中的源图像中的目标物转换为虚拟物，生成目标图像。服务器端904 将目标图像反馈至客户端902。客户端902渲染目标图像并进行显示。
[0243]
本说明书实施例中，通过预先训练的转换模型生成目标图像，提升了图像生成效率，降低图像生成成本，通过生成对抗网络生成样本图像，提升了样本生成效率，降低了样本生成成本，利用同一随机向量生成的样本对来对纹理转换网络进行训练，得到转换模型，由于样本对具有对应特征，提升了训练得到的转换模型的准确度，提升了生成目标图像的准确度。
[0244]
上述为本实施例的一种图像生成系统的示意性方案。需要说明的是，该图像生成系统的技术方案与上述的图像生成方法的技术方案属于同一构思，图像生成系统的技术方案未详细描述的细节内容，均可以参见上述图像生成方法的技术方案的描述。
[0245]
与上述方法实施例相对应，本说明书还提供了图像生成装置实施例，图11示出了本说明书一个实施例提供的一种图像生成装置的结构示意图。如图11所示，该装置包括：
[0246]
第一获取模块1102，被配置为获取源图像，其中，源图像为对目标物拍摄得到；
[0247]
第一生成模块1104，被配置为利用预先训练的转换模型，将源图像中的目标物转换为虚拟物，生成目标图像，其中，虚拟物具有特定虚拟形象，转换模型基于样本对训练得到，样本对包括针对同一样本物的至少两种不同形象的样本图像，样本对利用至少两个生成对抗网络生成，至少两个生成对抗网络通过迁移学习得到，其中，转换模型为机器学习模型。
[0248]
可选地，该装置还包括转换模型训练模块，被配置为：获取随机向量，将随机向量输入预先训练的第一生成对抗网络和第二生成对抗网络，得到样本对，其中，样本对包括第一生成对抗网络生成的第一样本图像以及第二生成对抗网络生成的第二样本图像，第一样
本图像和第二样本图像为针对同一样本物的两种不同形象的样本图像，利用样本对，对预设的纹理转换网络进行训练，得到转换模型。
[0249]
可选地，该装置还包括第一生成对抗网络训练模块，被配置为：获取训练集，其中，训练集包括预先采集的第三样本图像，将随机向量输入第一生成对抗网络的生成器，生成第四样本图像，将第四样本图像和第三样本图像输入第一生成对抗网络的判别器，得到第一损失值；根据第一损失值，对第一生成对抗网络进行训练，在达到预设训练停止条件的情况下，获得完成训练的第一生成对抗网络。
[0250]
可选地，训练集还包括预先采集的第五样本图像，第五样本图像和第三样本图像为两种不同形象的样本图像；
[0251]
该装置还包括第二对抗网络训练模块，被配置为：获取完成训练的第一生成对抗网络，基于第一生成对抗网络，生成初始的第二生成对抗网络，将随机向量输入第二生成对抗网络的生成器，生成第六样本图像，根据第六样本图像，计算身份损失，并将第六样本图像和第五样本图像输入第二生成对抗网络的判别器，得到对抗损失，根据身份损失和对抗损失，确定第二损失值，根据第二损失值，对第二生成对抗网络进行训练，在达到预设训练停止条件的情况下，获得完成训练的第二生成对抗网络。
[0252]
可选地，该装置还包括几何增强模块，被配置为：训练集还包括预先采集的第五样本图像，第五样本图像和第三样本图像为两种不同形象的样本图像。
[0253]
可选地，转换模型训练模块被进一步配置为：将第一样本图像输入预设的纹理转换网络，得到纹理转换图像，基于纹理转换图像的特征信息，计算第三损失值，根据第三损失值调整纹理转换网络的网络参数，在达到预设训练停止条件的情况下，获得完成训练的转换模型。可选地，特征信息包括虚拟形象特征；
[0254]
转换模型训练模块被进一步配置为：从纹理转换图像中提取虚拟物的第一虚拟形象特征，并从第二样本图像中提取虚拟物的第二虚拟形象特征，根据第一虚拟形象特征和第二虚拟形象特征，计算虚拟形象特征损失，根据虚拟形象特征损失，确定第三损失值。
[0255]
可选地，特征信息还包括图像内容表征特征；
[0256]
该装置还包括图像内容表征损失计算模块，被配置为：从纹理转换图像中提取第一图像内容表征特征，并从第一样本图像中提取第二图像内容表征特征，根据第一图像内容表征特征和第二图像内容表征特征，计算图像内容表征损失；
[0257]
对应地，转换模型训练模块被进一步配置为：根据虚拟形象特征损失和图像内容表征损失，加权得到第三损失值。
[0258]
可选地，特征信息还包括图像局部特征；
[0259]
该装置还包括图像局部损失计算模块，被配置为：从纹理转换图像中提取第一图像局部特征，并从第一样本图像中提取第二图像局部特征，根据第一图像局部特征和第二图像局部特征，计算图像局部损失；
[0260]
对应地，转换模型训练模块被进一步配置为：根据虚拟形象特征损失和图像局部损失，加权得到第三损失值。
[0261]
本说明书实施例中，获取源图像，其中，源图像为对目标物拍摄得到，利用预先训练的转换模型，将源图像中的目标物转换为虚拟物，生成目标图像，其中，虚拟物具有特定虚拟形象，转换模型基于样本对训练得到，样本对包括针对同一样本物的至少两种不同形
象的样本图像，样本对利用至少两个生成对抗网络生成，至少两个生成对抗网络通过迁移学习得到，其中，转换模型为机器学习模型。通过预先训练的转换模型生成目标图像，提升了图像生成效率，降低图像生成成本，通过生成对抗网络生成样本图像，提升了样本生成效率，降低了样本生成成本，根据针对同一样本物的至少两种不同形象的样本对来训练，保证了样本对具有对应特征，提升了训练得到的转换模型的准确度，提升了生成目标图像的准确度。
[0262]
上述为本实施例的一种图像生成装置的示意性方案。需要说明的是，该图像生成装置的技术方案与上述的图像生成方法的技术方案属于同一构思，图像生成装置的技术方案未详细描述的细节内容，均可以参见上述图像生成方法的技术方案的描述。
[0263]
与上述方法实施例相对应，本说明书还提供了图像生成装置实施例，图12示出了本说明书一个实施例提供的一种应用于虚拟现实设备的图像生成装置的结构示意图。如图12所示，该装置包括：
[0264]
第二获取模块1202，被配置为获取源图像，其中，源图像为对目标物拍摄得到；
[0265]
第二生成模块1204，被配置为利用预先训练的转换模型，将源图像中的目标物转换为虚拟物，生成目标图像，其中，虚拟物具有特定虚拟形象，转换模型基于样本对训练得到，样本对包括针对同一样本物的至少两种不同形象的样本图像，样本对利用至少两个生成对抗网络生成，至少两个生成对抗网络通过迁移学习得到，转换模型为机器学习模型；
[0266]
渲染模块1206，被配置为对目标图像进行渲染。
[0267]
本说明书实施例中，通过预先训练的转换模型生成目标图像，提升了图像生成效率，降低图像生成成本，通过生成对抗网络生成样本图像，提升了样本生成效率，降低了样本生成成本，根据针对同一样本物的至少两种不同形象的样本对来训练，保证了样本对具有对应特征，提升了训练得到的转换模型的准确度，提升了生成目标图像的准确度，对目标图像进行渲染，增强了目标图像的显示效果，提升了用户体验。
[0268]
上述为本实施例的一种图像生成装置的示意性方案。需要说明的是，该图像生成装置的技术方案与上述的图像生成方法的技术方案属于同一构思，图像生成装置的技术方案未详细描述的细节内容，均可以参见上述图像生成方法的技术方案的描述。
[0269]
与上述方法实施例相对应，本说明书还提供了图像生成装置实施例，图13示出了本说明书一个实施例提供的一种应用于客户端的图像生成装置的结构示意图。如图13所示，该装置包括：
[0270]
图像生成请求发送模块1302，被配置为向服务器端发送图像生成请求，其中，图像生成请求携带源图像，源图像为对目标物拍摄得到；
[0271]
目标图像接收模块1304，被配置为接收服务器端反馈的目标图像，其中，目标图像为服务器端利用预先训练的转换模型将源图像中的目标物转换为虚拟物生成，虚拟物具有特定虚拟形象，转换模型基于样本对训练得到，样本对包括针对同一样本物的至少两种不同形象的样本图像，样本对利用至少两个生成对抗网络生成，至少两个生成对抗网络通过迁移学习得到，转换模型为机器学习模型。
[0272]
本说明书实施例中，通过客户端向服务器端发送图像生成请求并得到反馈的目标图像，提升了图像生成的便捷性和效率，通过预先训练的转换模型生成目标图像，提升了图像生成效率，降低图像生成成本，通过生成对抗网络生成样本图像，提升了样本生成效率，
降低了样本生成成本，根据针对同一样本物的至少两种不同形象的样本对来训练，保证了样本对具有对应特征，提升了训练得到的转换模型的准确度，提升了生成目标图像的准确度。
[0273]
上述为本实施例的一种图像生成装置的示意性方案。需要说明的是，该图像生成装置的技术方案与上述的图像生成方法的技术方案属于同一构思，图像生成装置的技术方案未详细描述的细节内容，均可以参见上述图像生成方法的技术方案的描述。
[0274]
与上述方法实施例相对应，本说明书还提供了图像生成装置实施例，图14示出了本说明书一个实施例提供的一种应用于服务器端的图像生成装置的结构示意图。如图14所示，该装置包括：
[0275]
图像生成请求接收模块1402，被配置为接收客户端发送的图像生成请求，其中，图像生成请求携带源图像，源图像为对目标物拍摄得到；
[0276]
第三生成模块1404，被配置为利用预先训练的转换模型，将源图像中的目标物转换为虚拟物，生成目标图像，其中，虚拟物具有特定虚拟形象，转换模型基于样本对训练得到，样本对包括针对同一样本物的至少两种不同形象的样本图像，样本对利用至少两个生成对抗网络生成，至少两个生成对抗网络通过迁移学习得到，转换模型为机器学习模型；
[0277]
反馈模块1406，被配置为将目标图像反馈至客户端。
[0278]
本说明书实施例中，通过接收客户端发送的图像生成请求并反馈目标图像，提升了图像生成的便捷性和效率，通过预先训练的转换模型生成目标图像，提升了图像生成效率，降低图像生成成本，通过生成对抗网络生成样本图像，提升了样本生成效率，降低了样本生成成本，根据针对同一样本物的至少两种不同形象的样本对来训练，保证了样本对具有对应特征，提升了训练得到的转换模型的准确度，提升了生成目标图像的准确度。
[0279]
上述为本实施例的一种图像生成装置的示意性方案。需要说明的是，该图像生成装置的技术方案与上述的图像生成方法的技术方案属于同一构思，图像生成装置的技术方案未详细描述的细节内容，均可以参见上述图像生成方法的技术方案的描述。
[0280]
图15示出了本说明书一个实施例提供的一种电子设备的结构框图。该电子设备1500的部件包括但不限于存储器1510和处理器1520。处理器1520与存储器1510通过总线1530相连接，数据库1550用于保存数据。
[0281]
电子设备1500还包括接入设备1540，接入设备1540使得电子设备1500能够经由一个或网络1560通信。这些网络的示例包括公用交换电话网(pstn，public switched telephonenetwork)、局域网(lan，local area network)、广域网(wan，wide area network)、个域网(pan，personal area network)或诸如因特网的通信网络的组合。接入设备1540可以包括有线或无线的任何类型的网络接口(例如，网络接口卡(nic，network interface controller)) 中的一个或多个，诸如ieee802.11无线局域网(wlan，wireless local area networks)无线接口、全球微波互联接入(wi-max，world interoperability for microwave access)接口、以太网接口、通用串行总线(usb，universal serial bus)接口、蜂窝网络接口、蓝牙接口、近场通信(nfc，near field communication)接口，等等。
[0282]
在本说明书的一个实施例中，电子设备1500的上述部件以及图15中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图15所示的电子设备结构框图仅仅是出于示例的目的，而不是对本说明书范围的限制。本领域技术人员可以根据需要，增添或替换
其他部件。
[0283]
电子设备1500可以是任何类型的静止或移动电子设备，包括移动计算机或移动电子设备(例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如，智能手机)、可佩戴的电子设备(例如，虚拟现实设备中的ar设备、vr设备、xr设备、 mr设备等)或其他类型的移动设备，或者诸如台式计算机或pc的静止电子设备。电子设备1500还可以是移动式或静止式的服务器端。其中，电子设备1500可以为saas中的客户端和服务器端。
[0284]
其中，处理器1520用于执行如下计算机可执行指令，该计算机可执行指令被处理器执行时实现上述图像生成方法或转换模型训练方法的步骤。
[0285]
上述为本实施例的一种电子设备的示意性方案。需要说明的是，该电子设备的技术方案与上述的图像生成方法和转换模型训练方法的技术方案属于同一构思，电子设备的技术方案未详细描述的细节内容，均可以参见上述图像生成方法或转换模型训练方法的技术方案的描述。本说明书一实施例还提供一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现上述图像生成方法或转换模型训练方法的步骤。
[0286]
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的图像生成方法和转换模型训练方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述图像生成方法或转换模型训练方法的技术方案的描述。
[0287]
本说明书一实施例还提供一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行上述图像生成方法或转换模型训练方法的步骤。
[0288]
上述为本实施例的一种计算机程序的示意性方案。需要说明的是，该计算机程序的技术方案与上述的图像生成方法和转换模型训练方法的技术方案属于同一构思，计算机程序的技术方案未详细描述的细节内容，均可以参见上述图像生成方法或转换模型训练方法的技术方案的描述。
[0289]
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
[0290]
所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、物代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质等。
[0291]
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本说明书实施例并不受所描述的动作顺序的限制，因为依据本说明书实施例，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块
并不一定都是本说明书实施例所必须的。
[0292]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
[0293]
以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书实施例的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本说明书实施例的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。