图像转换方法、装置、设备及存储介质

1.本技术实施例涉及图像处理领域，涉及但不限于一种图像转换方法、装置、设备及存储介质。


背景技术：

2.在相关技术中，采用基于循环一致性实现图像转换，要求图像从原领域转换到目标领域后能再次转换回原领域，做到图像的重建。但是对于形态差异较大的领域之间的转换，图像转换后往往丢失信息过多使得难以有效重建原始的图像，从而难以取得理想的效果。


技术实现要素：

3.本技术实施例提供一种图像转换技术方案。
4.本技术实施例的技术方案是这样实现的：
5.本技术实施例提供一种图像转换方法，所述方法包括：
6.采用图像转换网络，确定第一图像对应的第一领域；
7.基于所述第一领域和预设图像对应的第二领域，确定所述第一图像和所述预设图像在所述图像转换网络的各层的特征映射关系；
8.基于所述特征映射关系，将所述第一图像的画面从所述第一领域转换为所述第二领域，得到第二图像。
9.本技术实施例提供一种图像转换装置，所述装置包括：
10.第一确定模块，用于采用图像转换网络，确定第一图像对应的第一领域；
11.第二确定模块，用于基于所述第一领域和预设图像对应的第二领域，确定所述第一图像和所述预设图像在所述图像转换网络的各层的特征映射关系；
12.第一转换模块，用于基于所述特征映射关系，将所述第一图像的画面从所述第一领域转换为所述第二领域，得到第二图像。
13.对应地，本技术实施例提供一种计算机存储介质，所述计算机存储介质上存储有计算机可执行指令，该计算机可执行指令被执行后，能够实现上述所述的方法步骤。
14.本技术实施例提供一种电子设备，所述电子设备包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时能够实现上述方法的步骤。
15.本技术实施例提供一种图像转换方法、装置、设备及存储介质，首先，采用图像转换网络，分析获取的第一图像的画面所属的领域；然后，通过分析第一领域和预设图像的第二领域之间相同的特征类别，确定第一图像和第二图像在各层的内容映射关系，从而基于该各层次的内容映射关系，能够将第一图像的画面从第一领域转换为第二领域，得到转换后的第二图像；如此，通过建立第一图像和预设图像在各层的内容映射关系，能够实现自然精准的图像转换。
附图说明
16.图1为本技术实施例提供的图像转换方法的实现流程示意图；
17.图2为本技术实施例提供的图像转换方法的另一实现流程示意图；
18.图3为本技术实施例提供的图像转换方法的应用场景示意图；
19.图4为本技术实施例提供的蒸馏生成先验的网络架构示意图；
20.图5为本技术实施例提供的图像转换网络的结构示意图；
21.图6为本技术实施例提供的图像转换装置的结构组成示意图；
22.图7为本技术实施例提供的电子设备的组成结构示意图。
具体实施方式
23.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对发明的具体技术方案做进一步详细描述。以下实施例用于说明本技术，但不用来限制本技术的范围。
24.在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
25.在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本技术实施例能够以除了在这里图示或描述的以外的顺序实施。
26.除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本技术实施例的目的，不是旨在限制本技术。
27.对本技术实施例进行进一步详细说明之前，对本技术实施例中涉及的名词和术语进行说明，本技术实施例中涉及的名词和术语适用于如下的解释。
28.1)条件生成对抗网络(conditional generative adversarial nets，cgan)，cgan的生成器将噪声和标签一起作为输入，判别器将生成对象，原对象和标签一起作为输入，同时cgan优化了判别器的判定标准，将具有任意标签的假数据和具有错误标签的真数据判别为假，将具有正确标签的真数据判别为真。
29.2)随机噪声，随机噪声是高斯分布的随机变量，对抗网络本来就是完成一个分布的配准变换，对抗网络的生成器就是把一个高斯分布(或者其他先验的随机分布)变换成目标数据分布，这里实际是把输入的随机变量当成了数据的隐藏空间。
30.下面说明本技术实施例提供的图像转换系统的示例性应用，其中，本技术实施例提供的系统中的终端可以为具有图像采集功能的笔记本电脑，平板电脑，台式计算机，移动设备(例如，个人数字助理，专用消息设备，便携式游戏设备)等各种类型的电子设备。
31.下面，将说明图像转换的系统实施为电子设备时示例性应用。
32.图1为本技术实施例提供的图像转换方法的实现流程示意图，如图1所示，结合如图1所示步骤进行说明：
33.步骤s101，采用图像转换网络，确定第一图像对应的第一领域。
34.在一些实施例中，第一图像可以是在任意场景下采集的图像，可以是画面内容复杂的图像，还可以是画面内容简单的图像。将第一图像输入到图像转换网络中，确定出该第一图像的画面所属的领域。第一图像对应的第一领域为第一图像的画面内容所属的领域；其中，画面内容是指的可以是如下至少一项：在图像中面积占比超过预设阈值的图像区域所指代的内容、前景指示的内容、中心区域指示的内容等。通过分析该画面内容所在的场景，确定画面内容所属的领域，即得到第一图像对应的第一领域。画面内容所属的领域是指该画面内容的场景类别。比如，第一图像中面积占比超过预设阈值的图像区域所指代的内容为猫，那么确定第一领域为猫；或者，第一图像前景指示的画面内容为建筑物，确定第一领域为建筑物。该图像转换网络用于实现将第一图像的画面从第一领域转换为预设图像的第二领域，是通过在第一样本图像和第二样本图像之间确定先验信息，并基于各层中的内容特征建立多层的内容特征之间的映射关系，从而在生成器中引入多层的内容特征映射关系进行训练得到的。
35.步骤s102，基于所述第一领域和预设图像对应的第二领域，确定所述第一图像和所述预设图像在所述图像转换网络的各层的特征映射关系。
36.在一些实施例中，预设图像为画面内容属于第二领域的图像。预设图像可以是通过在第二领域下采集的图像，还可以是通过随机噪声生成的随机图像。第一领域指示的图像画面内容与第二领域指示的图像画面内容不同；在一些可能的实现方式中，通过分析图像画面内容中对象的类别，以确定该图像的领域。比如，第一图像中的画面内容为小狗，那么确定该第一图像的第一领域为狗，预设图像中的画面内容为人脸，确定该预设图像的第二领域为人像。通过分析第一图像的第一领域与预设图像的第二领域，能够确定出第一图像的画面和第二图像的画面中相同的特征类别，进而建立这些特征类别之间的映射关系。图像转换网络的各层表示进行特征提取的层次；各层的特征映射关系，以图像转换网络中的单层为例进行说明，其中，一层的特征映射关系，用于表征第一图像和预设图像在该层相同类别的内容特征之间的映射关系；比如，第一图像为狗脸图像，预设图像为猫脸图像，第一图像中狗面部五官特征类与预设图像中猫面部五官特征类的对应关系，以及，第一图像中狗的朝向和预设图像中猫的朝向之间的对应关系，即表示第一图像和预设图像的内容特征的映射关系。
37.步骤s103，基于所述特征映射关系，将所述第一图像的画面从所述第一领域转换为所述第二领域，得到第二图像。
38.在一些实施例中，将该各层的特征映射关系输入到该图像转换网络的生成器中，实现将第一图像从第一领域转换到第二领域，生成第二图像。
39.在本技术实施例中，首先，分析获取的第一图像的画面所属的领域；然后，通过分析第一领域和预设图像的第二领域之间相同的特征类别，确定第一图像和第二图像在各层的内容映射关系，从而基于该内容映射关系，能够将第一图像的画面从第一领域转换为所述第二领域，得到转换后的第二图像；如此，通过建立第一图像和预设图像在各层的内容映射关系，能够实现自然精准的图像转换。
40.在一些实施例中，通过在图像转换网络的内容编码器与生成器之间建立跨层连接，提取各层次的内容特征和风格特征，并结合各层次的特征映射关系，将第一图像的画面从第一领域转换为第二领域，得到第二图像；即上述步骤s103可以通过以下步骤s131和
s132(图示未示出)实现：
41.步骤s131，采用所述图像转换网络中的风格编码器，确定所述预设图像在所述图像转换网络中每一层的风格特征。
42.在一些可能的实现方式中，将预设图像输入到图像转换网络的风格编码器，生成该预设图像在每一层的风格特征。
43.步骤s132，将所述图像转换网络中任一层的风格特征和对应的特征映射关系作为特征组。
44.在一些可能的实现方式中，对于图像转换网络中的一层来说，将该层的风格特征以及第一图像和预设图像在该层的特征映射关系合并在一起，作为一个特征组，这样能够得到每一层的特征组。
45.步骤s133，将所述图像转换网络中各层的特征组，输入所述图像转换网络的生成器，得到所述第二图像。
46.在一些可能的实现方式中，采用该图像转换网络中的风格编码器提取第二领域的预设图像的风格特征；该风格特征用于表征第二领域的图像风格，比如，背景画面、颜色、色调、纹理和光线明暗程度以及前景画面等。将特征映射关系和第二领域的风格特征，输入到图像转换网络的生成器中，生成第二图像。如此，通过将引入的各层的特征映射关系和预设图像的风格特征相结合，能够更加精准实现图像的领域转换。
47.在一些实施例中，为建立各层的内容特征之间的映射关系，通过分析两个领域之间共享的特征类别，来确定第一图像和预设图像在各层之间的特征映射关系，即上述步骤s102可以通过图2所示的步骤实现，图2为本技术实施例提供的图像转换方法的另一实现流程示意图，结合图2所示的步骤进行以下说明：
48.步骤s201，基于所述第一领域和所述第二领域，确定所述第一图像和所述预设图像之间在所述图像转换网络的每一层共享的特征类别。
49.在一些实施例中，每一层表示对图像进行特征提取的层次；比如，通过内容编码器对第一图像和预设图像进行特征提取，确定内容编码器的层次为对图像进行特征提取的层次。通过分析两个领域的内在联系，基于该内在联系，确定出第一图像和预设图像之间相同的高层特征类别和中层特征类别。比如，第一领域为猫，第二领域为狗，这两个领域之间的内在联系为：抽象内容特征类之间的联系以及具象内容特征类之间的联系；其中，抽象内容特征类包括面部朝向和画面内容在图像中的位置等中的一项或多项；第一领域和第二领域相同的具象内容特征类包括五官特征类、四肢特征类和躯体特征类等中的一项或多项。
50.在一些可能的实现方式中，采用图像转换网络确定第一图像和预设图像在各层次共享的内容特征。该图像转换网络中包括内容编码器，采用该内容编码器，在该内容编码器的任一层对该第一图像的第一领域和预设图像进行特征提取，得到第一图像在该层的图像特征和预设图像在该层的图像特征；基于此，确定第一图像的第一领域和预设图像在任一层共同具有的内容特征类别。
51.在一些实施例中，通过分析两个领域的内在联系，确定出第一图像和预设图像之间的高层特征类别和中层特征类别，从而得到每一层共享的特征类别，即上述步骤s201可以通过以下步骤s211至s213(图示未示出)实现：
52.步骤s211，基于所述第一领域和所述第二领域，确定所述第一图像和所述预设图
像共享的抽象内容特征类别。
53.在一些实施例中，通过分析第一领域和第二领域的内在联系，确定第一图像和预设图像在语义上相同的抽象内容特征类，比如，第一图像内画面的朝向和位置，与，预设图像内画面的朝向和位置。
54.步骤s212，确定所述第一图像和所述预设图像在所述每一层共享的具象内容特征类别。
55.在一些实施例中，通过确定对第一图像进行特征提取的内容编码器的层数，确定第一图像的图像内容和第二图像的图像内容在每一层的内容特征中类别相同的具象内容特征类别。其中，具象内容特征类别包括第一图像和第二图像均具有的具体内容特征的类别；比如，第一图像是人脸图像，其中具有五官特征，预设图像为猫的图像，其中也具有五官特征，那么该五官特征，即为第一图像和预设图像在图像转换网络的中间层次共享的具象内容特征类别。
56.步骤s213，基于所述抽象内容特征类别和所述每一层共享的具象内容特征类别，得到所述每一层共享的特征类别。
57.在一些实施例中，将作为高层次内容特征类别的抽象内容特征类别和每一层共享的具象内容特征类别，作为第一图像和预设图像共享的特征类别。如此，通过分析第一图像的第一领域和预设图像的第二领域之间的内在联系，确定出第一图像和预设图像共享的抽象内容特征类别以及每一层的具象内容特征类别，从而能够准确得到第一图像和预设图像在各层共享的特征类别。
58.在步骤s201之后，将图像转换网络的每一层作为目标层，执行以下步骤：
59.步骤s202，基于所述目标层共享的特征类别，分别确定所述第一图像在所述目标层的第一输出特征和所述预设图像在所述目标层的第二输出特征。
60.在一些实施例中，基于目标层共享的特征类别，确定第一图像在目标层的第一输出特征。针对图像转换网络的每一层，通过对第一图像在该层进行特征提取，得到该层的该特征类别的编码器特征，将编码器特征与生成器输出的生成器特征进行融合，得到该层最终输出的特征，即第一输出特征。同理，针对图像转换网络的每一层，通过对预设图像在该层进行特征提取，得到该层的该特征类别的编码器特征，将编码器特征与生成器输出的生成器特征进行融合，得到该层最终输出的特征，即第二输出特征。
61.在一些可能的实现方式中，通过掩膜信息将编码器输出的内容特征和生成器输出的生成器特征进行融合，得到该层最终输出的输出特征，即上述步骤s202中的“基于所述目标层共享的特征类别，确定所述第一图像在所述目标层的第一输出特征”可以通过以下步骤s221至s223(图示未示出)实现：
62.步骤s221，采用所述图像转换网络的内容编码器，确定所述目标层共享的特征类别在所述第一图像中的编码器特征。
63.在一些实施例中，将第一图像输入图像转换网络的内容编码器，得到在该内容编码器的目标层上第一图像和预设图像相同的特征类别所对应的第一图像的内容特征，即编码器特征。采用图像转换网络中的内容编码器提取第一图像的内容特征，得到属于这些特征类别的编码器特征。比如，以第一图像为猫脸图像，预设图像为狗脸图像，各层的特征类别包括：五官特征类、面部朝向和位置信息等，编码器特征包括：五官特征、朝向特征和位置
特征等。
64.步骤s222，将所述目标层的编码器特征输入所述图像转换网络的生成器，确定所述目标层的生成器特征。
65.在一些实施例中，将该目标层的编码器特征输入到图像转换网络的生成器，得到在该层的生成器特征。在其他实施例中，将该目标层的编码器特征输入生成器的同时，将图像转换网络的风格编码器所提取的预设图像的风格特征也输入到生成器，以使生成器生成该目标层的生成器特征。
66.步骤s223，将所述目标层的生成器特征和所述目标层的编码器特征进行融合，得到所述第一图像在所述目标层的第一输出特征。
67.在一些实施例中，在图像转换网络的任一层中，将生成器输出的生成器特征与内容编码器输出的编码器特征进行融合，得到该层最终输出的特征，即第一输出特征。这样，在采用内容编码器提取到第一图像的高层次内容特征之前，通过内容编码器与生成器之间的跨层连接，将第一图像的中间层次特征引入到生成器中，从而能够建立高层次特征与中间层次特征之间的映射关系；如此，在生成器中引入多个层次的特征，使得生成器具有更多的细节特征，从而生成器生成的第二图像中具有更多的细节特征，进而更加精准的实现第一图像到预设图像的领域转换。
68.在其他实施例中，步骤s202中“基于所述目标层共享的特征类别，确定所述预设图像在所述目标层的第二输出特征”的实现过程，与上述步骤s221至223的实现过程类似，即首先，通过图像转换网络的内容编码器提取预设图像在目标层的第二内容特征；在一些可能的实现方式中，如果预设图像为随机噪声产生的随机图像，那么第二内容特征即为内容编码器采集的该随机图像的内容特征。如果预设图像为采集的具有预设画面的图像，那么第二内容特征为该预设画面中属于各层的特征类别的特征。然后，将第二内容特征输入到生成器中，得到该层的生成器特征；最后，将生成器输出的生成器特征和内容编码器输出的内容特征融合，得到预设图像在该层输出的第二输出特征。
69.步骤s203，基于所述第一输出特征和所述第二输出特征，确定所述第一图像和所述预设图像在所述目标层的特征映射关系。
70.在一些实施例中，在图像转换网络中，确定出第一图像和预设图像在每一层的内容特征之间的特征映射关系。该特征映射关系能够表征第一图像和预设图像在目标层属于同一特征类别的内容特征之间的对应关系。如此，通过分析两个领域之间共享的特征类别，能够准确建立第一图像和预设图像在各层次的内容特征之间的映射关系，进而精准地将第一图像转换为第二领域的第二图像。
71.在一些实施例中，基于在内容编码器和生成器的跨层连接，通过该跨层连接的隐藏状态更新中间层的具象内容特征，得到该层的内容特征，即上述步骤s221可以通过以下步骤实现：
72.第一步，在所述第一图像中，采用所述内容编码器，确定属于所述目标层共享的特征类别中抽象内容特征类别的抽象内容特征和属于所述目标层共享的特征类别中具象内容特征类别的具象内容特征。
73.在一些实施例中，在各层共享的特征类别中确定抽象内容特征类别，即在各层共享的特征类别中确定出第一图像和预设图像在图像转换网络的高层共享的特征类别；该高
层的特征类别对应的内容特征即为该抽象内容特征。目标层共享的特征类别中具象内容特征类别的具象内容特征，即为第一图像和预设图像在图像转换网络的中间层或低层共享的特征类别所对应的第一图像的内容特征。
74.第二步，基于所述抽象内容特征，确定初始隐藏状态。
75.在一些可能的实现方式中，将内容编码器提取到的第一图像的高层次内容特征，即抽象内容特征，作为该层的初始隐藏状态。
76.第三步，基于所述初始隐藏状态，更新所述目标层的具象内容特征，得到所述目标层的编码器特征。
77.在一些可能的实现方式中，通过初始隐藏状态与第2层的内容特征相融合，得到该第2层的隐藏状态，即将第(i-1)层的隐藏状态和第i层的内容特征(即具象内容特征)输入到更新网络r的激活层中，将第(i-1)层的隐藏状态与第i层的具象内容特征进行卷积，并将卷积结果输入到激活层的激活函数中，将激活函数的输出与第(i-1)层的隐藏状态进行逐元素乘积，即可得到第i层的隐藏状态。将第i层的隐藏状态和第i层的具象内容特征串联，输入到特征更新网络u中进行卷积操作，并将卷积结果输入到激活函数中，从而实现对第i层的具象内容特征的更新，得到第i层的编码器特征；进而得到每一层的编码器特征。如此，通过上一层的隐藏状态更新下一层的隐藏状态，并将同一层的隐藏状态和具象内容特征进行卷积等操作，以更新该具象内容特征，能够得到该层的编码器输出的编码器特征；从而在网络中引入了第一图像在网络的中间层次的内容特征。
78.在一些实施例中，通过内容编码器和生成器之间建立的动态跨层连接，引入第一图像的多层的编码器特征，从而能够得到每一层最终的输出特征，即上述步骤s222可以通过以下步骤实现：
79.第一步，基于所述目标层的隐藏状态和所述目标层的编码器特征，确定所述第一图像在所述目标层的掩膜信息。
80.在一些实施例中，将高层的抽象内容特征作为第一图像的初始隐藏状态，与中间层的任一层的具象内容特征共同输入到掩膜网络中，得到该层的掩膜信息。该层的掩膜信息用于从该层的内容特征中挑选出有用的内容特征，即目标内容特征，通常指的是图像中主体区域的内容特征，也即内容特征中除冗余信息以外的内容特征，以输入到生成器中生成第二图像。其中，冗余信息指的是图像中未直接指向领域的内容所对应的内容特征，比如，在领域为建筑物的情况下，对于图像中非建筑物的树木、蓝天等对应的内容特征，都可以视为冗余信息。
81.在一些可能的实现方式中，在图像转换网络的内容编码器和生成器之间建立动态跨层连接之后，通过获取该动态连接的隐藏状态以及任一层的内容特征，能够确定该层的掩膜信息，即上述第一步可以通过以下步骤实现：
82.步骤1，在所述目标层为第一层的情况下，将所述抽象内容特征确定为所述第一层的隐藏状态；或者，在所述目标层为第i层的情况下，基于所述第(i-1)层的隐藏状态和所述第i层的具象内容特征，确定所述第i层的隐藏状态。
83.在一些可能的实现方式中，i为大于1的整数；在i等于2的情况下所述第1层的隐藏状态为所述抽象内容特征。即初始隐藏状态为图像转换网络在高层提取到的第一图像的内容特征。将初始隐藏状态和第2层的具象内容特征串联，然后输入到图像转换网络的激活层
进行上采样和卷积，得到第2层的隐藏状态；同理，可基于第2层的隐藏状态和第3层的具象内容特征，对第2层的隐藏状态进行更新，得到第3层的隐藏状态；以此类推，能够得到任意一层的隐藏状态。
84.步骤2，基于第j层的隐藏状态和第(j 1)层的具象内容特征，确定所述第一图像在所述第(j 1)层的掩膜信息。
85.在一些可能的实现方式中，j为大于或等于1的整数。将第j层的隐藏状态和第(j 1)层的具象内容特征串联，然后输入到掩膜网络的激活层进行上采样和卷积，得到第(j 1)层的掩膜信息。在一些可能的实现方式中，为使得到的掩膜信息能够更加准确地在内容特征中选择有效部分，对该掩膜信息进行正则化处理，从而使得该掩膜信息尽可能稀疏。如此，通过动态跨层连接中任一层的隐藏状态和内容特征，能够确定出第一图像的掩膜信息，从而利于从第一图像的内容特征中选择目标内容特征，提高图像转换网络的图像转换速度。
86.第二步，将所述目标层的具象内容特征和所述目标层的掩膜信息输入所述生成器，生成所述目标层的生成器特征。
87.在一些实施例中，通过目标层的掩膜信息选择中间层内容特征中的有效部分，输入到生成器。通过任一层的掩膜信息中的值，在该层的具象内容特征中，选择数值1所对应的特征，将该特征输入到生成器，得到生成器在该层的生成器特征。
88.在一些可能的实现方式中，为降低输入生成器的冗余信息，降低生成器的计算量，即上述第二步可以通过以下步骤实现：
89.步骤a，对所述目标层的掩膜信息进行正则化处理，得到所述目标层的稀疏掩膜信息。
90.在一些可能的实现方式中，采用l2或者l1正则化对任一层的掩膜信息进行正则化处理，以使得该掩膜信息尽可能稀疏，得到该层的稀疏掩膜信息；由于该稀疏掩膜信息在稀疏的过程中将掩膜信息中的背景等特征所对应的向量变为0，即舍弃该掩膜信息中的图像画面冗余信息，所以稀疏掩膜信息中包括的是该目标层的目标内容特征，从而减少掩膜信息中的无效信息。比如，第一图像是猫脸图像，图像中除猫脸特征之外的信息即为无效信息，比如，背景信息。
91.步骤b，从所述目标层的具象内容特征中，获取与所述目标层的稀疏掩膜信息匹配的目标内容特征。
92.在一些可能的实现方式中，在所述目标层的具象内容特征中，选择与所述目标层的稀疏掩膜信息匹配的目标内容特征；其中，与所述目标层的稀疏掩膜信息匹配的目标内容特征，可以理解为采用该稀疏掩膜信息在该层的内容特征特征中，选择与该稀疏掩膜信息中的值1所对应的内容特征，这样使得选择出的特征中极少包括冗余信息，实现了对多层内容特征的自动筛选。
93.步骤c，将所述目标层的目标内容特征输入所述生成器，生成所述目标层的生成器特征。
94.在一些可能的实现方式中，将该层的目标内容特征输入到生成器中，以使生成器输出该层的生成器特征。如此，采用稀疏掩膜信息从这一层的具象内容特征中选择有效部分，作为生成器的输入，从而减少生成器的计算量。
95.第三步，基于所述目标层的掩膜信息对所述目标层的编码器特征和所述目标层的生成器特征进行融合，得到所述第一图像在所述目标层的所述第一输出特征。
96.在一些实施例中，在任一层中，采用该层的掩膜信息对编码特征以及生成器特征进行融合，得到该层最终输出的特征，即第一输出特征。如此，实现了在内容编码器和生成器之间引入动态筛选的各层的有效特征。
97.在一些可能的实现方式中，通过采用掩膜信息和该掩膜信息的对抗信息融合编码器特征和生成器特征，即上述第三步可以通过以下过程实现：
98.首先，基于所述目标层的掩膜信息对所述目标层的编码器特征进行调整，得到所述目标层的第一调整特征。
99.在一些可能的实现方式中，在任一层中，将该层的掩膜信息与编码器特征进行逐元素相乘，得到该层的第一调整特征。
100.其次，基于所述目标层的掩膜信息的对抗信息对所述目标层的生成器特征进行调整，得到所述目标层的第二调整特征。
101.在一些可能的实现方式中，目标层的掩膜信息的对抗信息，可以为掩膜信息的相反数与预设值(比如，预设值1)之和；采用该对抗信息与生成器特征进行逐元素相乘，得到该层的第二调整特征。
102.最后，将所述目标层的第一调整特征和所述目标层的第二调整特征进行融合，得到所述目标层的第一输出特征。
103.在一些可能的实现方式中，在任一层中，将得到的第一调整特征和第二调整特征进行逐元素求和，得到该层最终的第一输出特征。如此，通过掩膜信息将目标层的编码器特征生成器特征进行融合，能够实现网络中间层的内容特征的引入。
104.在一些实施例中，图像转换网络是基于画面属于第一样本领域的第一样本图像和画面属于第二样本领域的第二样本图像对待训练网络进行训练得到的，待训练网络的训练过程可以通过以下步骤s151至s156(图示未示出)实现：
105.步骤s151，获取画面相关的所述第一样本图像和所述第二样本图像。
106.在一些实施例中，第一样本图像和第二样本图像之间具有相关的先验信息，第一样本图像的画面和第二样本图像的画面之间具有一定的相关性，比如，第一样本图像和第二样本图像是基于相同的随机噪声生成的，其中，图像画面中对象的朝向和位姿等信息相同。
107.在一些可能的实现方式中，可以通过以下过程获取第一样本图像和第二样本图像：
108.首先，获取预设噪声和至少包括第一样本领域和第二样本领域的领域标签集合。
109.在一些可能的实现方式中，预设噪声可以是高斯随机噪声，如图3所示，预设噪声可以是z1，z2或z3；领域标签集合中包括多个领域标签，如图3所示，包括领域鸟、领域猫和领域狗等。
110.然后，将所述预设噪声和所述领域标签集合输入已训练对抗网络，生成具有相匹配的语义信息的所述第一样本图像和所述第二样本图像。
111.在一些可能的实现方式中，已训练对抗网络可以是大规模条件对抗网络(biggan)，将预设噪声和领域标签集合作为条件信息输入到该对抗网络中，输出每一个随
机噪声下不同领域标签对应的样本图像；进而得到第一样本图像和第二样本图像。如此，采用条件对抗网络基于同一随机噪声和两个随机领域，生成样本图像，从而使得已训练的内容编码器能够提取样本图像之间共享的内容特征，利于重建样本图像的形状和外观。
112.步骤s152，采用所述待训练网络中的已训练内容编码器，确定所述第一样本图像在所述已训练内容编码器的每一层的第一样本特征和所述第二样本图像在所述每一层的第二样本特征。
113.在一些实施例中，待训练网络中的已训练内容编码器为基于具有先验信息的第一样本图像和第二样本图像进行训练得到的。将第一样本图像和第二样本图像分别输入到两个已训练内容编码器中，得到第一样本图像在内容编码器的每一层的内容特征，即第一样本特征，以及，第二样本图像在内容编码器的每一层的内容特征，即第二样本特征。
114.在一些可能的实现方式中，基于所述第一样本图像和所述第二样本图像对待训练内容编码器进行训练，得到所述已训练内容编码器；可以通过以下步骤实现：
115.第一步，采用所述待训练内容编码器，确定所述第一样本图像的第一预测内容特征和所述第二样本图像的第二预测内容特征。
116.在一些可能的实现方式中，将第一样本图像和第二样本图像输入到待训练内容编码器；采用该待训练内容编码器提取第一样本图像的整个图像的内容特征，即第一预测内容特征；同样采用该待训练内容编码器提取第二样本图像的整个图像的内容特征，即第二预测内容特征。
117.第二步，将所述第一预测内容特征、所述第一样本图像的样本风格特征和所述第一样本领域输入解码器，对所述第一样本图像进行重建，得到第二重建样本图像。
118.在一些可能的实现方式中，将第一样本图像输入到风格编码器，以提取第一样本图像的样本风格特征。将第一样本图像的第一预测内容特征、样本风格特征和第一样本领域的领域标签，输入到解码器，以使解码器对第一样本图像进行重建，得到第二重建图像。
119.第三步，确定所述第二重建样本图像和所述第一样本图像之间的第一损失。
120.在一些可能的实现方式中，通过分析第二重建样本图像的画面内容和第一样本图像的画面内容之间的差异，确定第一损失。即第一损失用于度量第二重建图像与第一样本图像之间的相似度。
121.第四步，确定所述第二预测内容特征和所述第一预测内容特征之间的第二损失。
122.在一些可能的实现方式中，通过分析第二样本图像的第二预测内容特征与第一样本图像的第一预测内容特征之间的差异，得到第二损失。即第二损失表征第二样本图像与第一样本图像之间的相似度。
123.第五步，基于所述第一损失和所述第二损失，对所述待训练内容编码器的网络参数进行调整，得到所述已训练内容编码器。
124.在一些可能的实现方式中，将第一损失和第二损失相结合，对待训练内容编码器的网络参数进行调整，以使训练好的内容编码器能够在第一样本图像和第二样本图像之间提取二者共享的高层次内容特征。如此，通过采用具有先验信息的样本图像集合对待训练内容编码器进行训练，能够提高已训练的内容编码器提取相同高层次内容特征的准确度。
125.步骤s153，基于所述每一层的第一样本特征和所述每一层的第二样本特征，确定所述第一样本图像和所述第二样本图像在所述已训练内容编码器的每一层的样本特征映
射关系。
126.在一些实施例中，通过已训练编码器提取第一样本图像在每一层的第一样本特征，以及第二样本图像在每一层的第二样本特征，确定出第一样本特征和第二样本特征之间的对应关系，从而得到多层的样本特征映射关系。
127.步骤s154，将所述每一层样本特征映射关系和所述第二样本图像的样本风格特征输入所述待训练网络的第一生成器，得到将所述第一样本图像的画面从所述第一样本领域转换为所述第二样本领域的转换样本图像。
128.在一些实施例中，在任一层中，将该层的样本特征映射关系和所述第二样本图像的样本风格特征均输入到第一生成器中，从而预测第一样本图像的画面从第一样本领域转换为第二样本领域的转换样本图像。
129.步骤s155，将所述第二样本图像的样本风格特征和所述每一层的第二样本特征输入所述待训练网络的第二生成器，得到对所述第二样本图像的画面进行重建的第一重建样本图像。
130.在一些实施例中，将第二样本图像的样本风格特征和每一层的第二样本特征输入到第二生成器中，预测对第二样本图像进行重建的第一重建样本图像。
131.步骤s156，基于所述转换样本图像的损失和所述第一重建样本图像的损失，对待训练网络的网络参数进行调整，得到所述图像转换网络。
132.在一些实施例中，通过转换样本图像与第二样本图像的画面之间的差异，确定该转换样本图像的损失；基于第一重建样本图像和第二样本图像的画面之间的差异，确定该第一重建样本图像的损失；基于此，对待训练网络的权重等网络参数进行调整，得到该图像转换网络。
133.通过上述步骤s151至156提供了对待训练网络进行训练，得到图像转换网络的实现方式，在该方式中，通过首先获得具有先验关联的样本图像，训练得到已训练内容编码器，然后，在内容编码器和生成器之间建立跨层连接，从而引入样本图像的中间层的内容特征，进而能够提高训练得到的图像转换网络的精确度。
134.在一些可能的实现方式中，通过分别确定转换样本图像和第一样本图像之间的差异，第一重建样本图像和第二样本图像之间的差异，以及整个网络的对抗损失，实现对待训练网络的网络参数的调整，即上述步骤156可以通过以下步骤实现：
135.第一步，基于所述转换样本图像的内容特征和所述第一样本图像的内容特征，确定所述转换样本图像的损失。
136.在一些实施例中，首先，确定出已训练内容编码器提取的转换样本图像的整个图像的内容特征，和第一样本图像的整个图像的内容特征之间的差异；然后，将该差异作为转换样本图像的损失，调整待训练网络中第一生成器的网络参数，以使该第一生成器生成的转换样本图像的损失满足收敛条件，从而得到训练好的第一生成器。
137.第二步，基于所述第一重建样本图像的风格特征和所述第二样本图像的风格特征，确定所述第一重建样本图像的损失。
138.在一些实施例中，采用所述待训练的风格编码器分别确定所述第一重建样本图像的风格特征和所述第二样本图像的风格特征。将第一重建样本图像输入风格编码器，以提取第一重建样本图像的风格特征，同理采用该风格编码器提取第二样本图像的风格特征；
将这两个风格特征之间的差异作为第一重建样本图像的损失，并采用该第一重建样本图像的损失对第二生成器以及风格编码器的网络参数进行调整，使得已训练的风格编码器和第二生成器能够生成判别器无法判别真假的重建样本图像。
139.第三步，确定所述第一重建样本图像和所述第二样本图像之间的对抗损失。
140.在一些实施例中，将第一重建样本图像和第二样本图像分别输入到待训练网络的判别器，得到第一重建样本图像的输出和第二样本图像的输出；然后将第二样本图像的输出和第一重建样本图像的输出的相反数进行融合，得到该对抗损失，以使判别器无法区分第一重建样本图像和第二样本图像。
141.第四步，基于所述所述转换样本图像的损失、所述第一重建样本图像的损失和所述对抗损失，对所述对待训练网络的网络参数进行调整，得到所述图像转换网络。
142.在一些可能的实现方式中，基于所述所述转换样本图像的损失对所述第一生成器的网络参数进行调整，基于所述第一重建样本图像的损失对所述待训练网络的风格编码器的网络参数进行调整，基于所述对抗损失对所述待训练网络的判别器的网络参数进行调整，得到所述图像转换网络。如此，分别对待训练网络中的判别器、生成器以及风格编码器进行训练，能够得到图像转换精确度更高的图像转换网络。
143.下面，将说明本技术实施例在一个实际的应用场景中的示例性应用，以基于生成先验，实现不同领域的图像转换为例，进行说明。
144.无监督图像转换的目的是在没有成对图像监督的条件下将一个领域的图像转换到另一个领域的图像，具有图像编辑、图像艺术化、虚拟图像真实性渲染等应用。相关技术中，采用基于循环一致性的方案，要求图像从原领域转换到目标领域后能再次转换回原领域，做到图像的重建。但是该方案只适合于原领域与目标领域高度相似的情况，例如马与斑马之间的转换。对于实际应用中广泛存在的形态差异较大的领域之间的转换，例如，人脸、动物脸和卡通脸中任意两者之间的转换，图像转换后往往丢失信息过多使得无法有效重建原始的图像。
145.基于此，本技术实施例提供一种图像转换方法，针对基于循环一致性的图像转换方法无法处理形态差异较大的领域之间的转换的问题，提出了新的基于生成先验的图像转换方法建立不同领域的鲁棒映射关系，以实现形态差异较大的领域之间的转换。
146.在本技术实施例中，利用预训练好的条件生成对抗网络所提供的不同领域之间内在联系的先验信息，训练内容编码器提取领域共享的高层次内容特征，并进一步在具体任务中学习中间层次的内容特征，从而建立各层的内容映射关系，实现自然精准的图像转换。
147.本技术实施例提供的图像转换方法可以通过以下两个步骤实现：
148.第一步，利用预训练好的条件生成对抗网络进行蒸馏，生成先验信息。
149.在一些实施例中，上述第一步可以通过以下步骤实现：
150.步骤1.1，生成训练数据。
151.在一些可能的实现方式中，该训练数据中包括第一样本图像和第二样本图像。首先，选取在大规模数据集上预训练好的条件生成对抗网络模型，即将随机噪声z和领域标签l映射为对应领域图像的生成网络，为方便叙述，本发明以在imagenet数据集上预训练的biggan为例，但不限于该数据集和该网络模型，属于可替换的部件。然后，采样不同的噪声z1,
…
,zn对imagenet数据集中的领域标签，生成对应领域的n张图像，k个领域共生成k
×
n张
图像用于后续的训练。如图3所示，对于领域狗、猫和鸟，虽然它们形态各异，但是相同的噪声(z1、z2或z3)所生成的图像具有高度统一的语义对应关系；例如，相同噪声z1所生成的图像，领域狗对应的图像301、领域猫对应的图像302和领域鸟对应的图像303，之间具有统一的朝向、姿势等，这些规律提供了有效的生成先验，能够用于建立不同领域之间的关系。
152.步骤1.2，基于生成的训练数据，训练内容编码器。
153.训练内容编码器ec提取相同的z所生成的图像所共享的高层次内容特征。如图4所示，图4为本技术实施例提供的蒸馏生成先验的网络架构示意图，结合图4可以看出，该网络包含内容编码器e
c 401、和解码器f 403。在训练中，随机采样两张训练图像包括：图像(x＝cgan(z,lx))41和图像(y＝cgan(z,ly))42，即图像41和图像42是根据同一个噪声中生成的图像。其中，cgan为步骤1.1中的条件生成对抗网络，z为共享的噪声，lx和ly分别为两个领域标签。内容编码器e
c 401对图像41进行内容特征提取，得到图像41的高层次内容特征43；内容编码器e
c 402对图像42进行内容特征提取，得到图像42的高层次内容特征44；风格编码器e
s 403提取图像42的风格特征sx；解码器f 404根据高层次内容特征43、风格特征sx以及图像41的领域标签lx重建图像41，得到图像45。在本技术实施例中，采用自适应实例归一化将风格特征sx和领域标签lx的信息输入到f，得到重建图像f(cx,sx,lx)，但不限于该方式。比如，风格特征sx和领域标签lx等条件信息输入f的方式，还可使用通道串联的方式。
154.在训练的过程中，希望重建样本图像尽可能还原图像x，同时从图像y中提取的内容特征尽可能逼近训练图像x的内容特征，分别对应下式的l
rec
和l
feat
，如公式(1)和(2)所示：
[0155][0156]
l
feat
＝e
(x,y)
[||ec(y)-ec(x)||1]
ꢀꢀꢀ
(2)；
[0157]
其中，e
x
表示关于变量x求相关函数，e
(x,y)
表示关于变量(x，y)求相关函数；ec(y)，ec(x)分别表示采用内容编码器提取的图像y和图像x的内容特征。l
rec
还可以采用感知损失(perceptual loss)和感知图像块相似度的学习(learned perceptual image patch similarity，lpips)等度量方式，确定图像相似度。
[0158]
在一些实施例中，l
rec
除了重建样本图像本身以外，还可以使用分割技术对训练图像进行前景与背景分割，得到图像x的前景掩膜，利用解码器f重建前景掩膜。
[0159]
在本技术实施例中，还可以对内容特征添加l2正则约束，使之尽可能稀疏。
[0160]
第二步，基于生成的先验信息，对图像进行转换。
[0161]
在一些实施例中，固定内容编码器ec，训练图像转换网络，以实现图像转换。如图5所示，图5为本技术实施例提供的图像转换网络的结构示意图，图像转换网络包含风格编码器es505、生成器51、生成器54、判别器d53、在第一步中训练好的内容编码器ec503和内容编码器ec504；其中，图像501属于领域x，图像502属于领域y，采用内容编码器e
c 503提取图像501的内容特征，采用内容编码器e
c 504提取图像502的内容特征，采用风格编码器e
s 505提取图像502的风格特征。在内容编码器e
c 503和生成器51之间检测动态跨层连接，将内容编码器e
c 503提取到的图像501的多层中间特征输入到生成器51，同时将图像502的风格特征也输入生成器51，生成将图像501从领域x转换到领域y的图像506；采用内容编码器e
c 52判断图像506与图像501的高层内容特征是否一致；采用判别器d 53分辨图像506和图像502的真假。将图像502的内容特征和图像502的风格特征输入生成器54，实现对图像502的重建，
得到重建样本图像507。这样，在内容编码器ec和生成器g之间建立了动态跨层连接，以提取各层次的内容特征，从而建立不同领域图像之间各层的内容映射关系。
[0162]
上述第二步可以通过以下步骤实现：
[0163]
步骤2.1，在内容编码器和生成器之间建立动态跨层连接。
[0164]
在一些可能的实现方式中，通过动态跨层连接将ec中间层的内容特征的有效部分，将提取的有效部分、内容编码器ec提取的高层次内容特征输入生成器g，建立各层的内容映射关系。动态跨层连接在内容编码器ec每一层估计一个掩膜m，将内容编码器的编码器特征fe与生成器的生成器特征fg由掩膜m加权组合，实现中间层信息的引入。
[0165]
动态跨层连接包含隐藏状态h，更新网络r，掩膜网络m，特征更新网络u。为方便叙述，采用上标i表示生成器g的第i层所对应的生成器特征和网络，每层的操作先采用最近邻插值的方式将所有特征调整到统一的空间大小。第i层首先使用第i层的更新网络ri更新隐藏状态hi，如公式(3)所示：
[0166][0167]
其中，表示第i层的编码器特征，设定初始隐藏状态为高层次内容特征h0＝ec(x)。然后，确定第i层的掩膜信息mi如公式(4)所示：
[0168][0169]
接着更新编码器特征如公式(5)所示：
[0170][0171]
最后，融合编码器特征和生成器特征，得到生成器g在第i层的最终输出fi，如公式(6)所示：
[0172][0173]
步骤2.2，基于通过动态跨层连接引入的中间层信息，训练图像转换网络。
[0174]
在一些可能的实现方式中，对于从图像领域x到领域y的具体任务，在训练过程中，固定内容编码器ec，随机采样图像x∈x,y∈y；内容编码器ec分别从图像x和图像y中提取内容特征cx和cy，es分别从图像x和图像y中提取风格特征sx和sy；生成器g根据图像x的内容特征cx和图像y的风格特征sy，生成图像x转换到领域y的转换图像
[0175]
对图像转换网络的训练要求为，图像的内容特征与图像x的内容特征cx一致，且风格特征与图像y风格特征的一致，使得判别网络无法分辨转换图像的真假，分别对应下式的l
con
、l
sty
和l
adv
，如公式(7)、(8)和(9)所示：
[0176][0177][0178][0179]
其中，fd为判别器d网络中间层提取的风格特征，为该层特征每个通道的均值组成的向量；即fd(y)分别表示由判别器d网络中间层提取的转换图像和图像y的风格
特征。
[0180]
在一些实施例中，l
sty
可以采用其他的衡量风格一致性的损失函数，例如，感知损失里基于vgg网络的风格损失，上下文损失(contextual loss)等。
[0181]
在一些实施例中，生成器g根据图像y的内容特征cy和sy重建需要与原图y一致，可以通过l
rec
衡量图像y与重建样本图像的一致性，或者，采用感知损失、lpips等度量手段衡量图像相似度。具体地，l
rec
为：
[0182][0183]
在一些实施例中，可以对掩膜信息m添加l1正则约束，使之尽可能稀疏，如以下公式(11)所示：
[0184][0185]
在本技术实施例中，生成先验信息的蒸馏网络能够提供不同领域图像之间高度抽象的映射关系，为形态差异较大的领域转换提供了有力的技术支撑；通过各层内容特征提取能够建立不同领域之间各层的鲁棒映射关系；这样，整体框架能够实现形态差异较大的领域之间的图像转换，同时支持泛化到提供生成网络提供的先验之外的领域。如此，本技术实施例所提供的图像转换方法能够实现艺术化换脸/头像生成，比如，通过该技术建立人像与卡通/动物脸之间的映射关系，使用户能够生成各种头像、或者替换真实人脸为动物脸；还能够实现图像智能编辑：将图像中指定的物品转换为其他物品，例如恐惧尖嘴动物的用户可以将照片中不想见到的鸟替换为宠物狗/猫，而不影响照片的布局；以及实现数据增强，比如，人脸的数据集规模大而全，且标签丰富，例如人脸的定位点、角度、光影等。本技术实施例提供的图像转换方法还能够将人脸转换为动物脸，并复用公用的标签如角度、光影等，实现数据增强，提供带标签的动物脸数据，用于深度学习和分析。
[0186]
本技术实施例提供一种图像转换装置，图6为本技术实施例提供的图像转换装置的结构组成示意图，如图6所示，所述图像转换装置600包括：
[0187]
第一确定模块601，用于采用图像转换网络，确定第一图像对应的第一领域；
[0188]
第二确定模块602，用于基于所述第一领域和预设图像对应的第二领域，确定所述第一图像和所述预设图像在所述图像转换网络的各层的特征映射关系；
[0189]
第一转换模块603，用于基于所述特征映射关系，将所述第一图像的画面从所述第一领域转换为所述第二领域，得到第二图像。
[0190]
在一些实施例中，所述第二确定模块602，包括：
[0191]
第一确定子模块，用于基于所述第一领域和所述第二领域，确定所述第一图像和所述预设图像之间在所述图像转换网络的每一层共享的特征类别；
[0192]
第二确定子模块，用于将所述每一层作为目标层，并基于所述目标层共享的特征类别，分别确定所述第一图像在所述目标层的第一输出特征和所述预设图像在所述目标层的第二输出特征；
[0193]
第三确定子模块，用于基于所述第一输出特征和所述第二输出特征，确定所述第一图像和所述预设图像在所述目标层的特征映射关系。
[0194]
在一些实施例中，所述第一确定子模块，包括：
[0195]
第一确定单元，用于基于所述第一领域和所述第二领域，确定所述第一图像和所述预设图像共享的抽象内容特征类别；
[0196]
第二确定单元，用于确定所述第一图像和所述预设图像在所述每一层共享的具象内容特征类别；
[0197]
第三确定单元，用于基于所述抽象内容特征类别和所述每一层共享的具象内容特征类别，得到所述每一层共享的特征类别。
[0198]
在一些实施例中，所述第二确定子模块，包括：
[0199]
第四确定单元，用于采用所述图像转换网络的内容编码器，确定所述目标层共享的特征类别在所述第一图像中的编码器特征；
[0200]
第五确定单元，用于将所述目标层的编码器特征输入所述图像转换网络的生成器，确定所述目标层的生成器特征；
[0201]
第一融合单元，用于将所述目标层的生成器特征和所述目标层的编码器特征进行融合，得到所述第一图像在所述目标层的第一输出特征。
[0202]
在一些实施例中，所述第四确定单元，包括：
[0203]
第一确定子单元，用于在所述第一图像中，采用所述内容编码器，确定属于所述目标层共享的特征类别中抽象内容特征类别的抽象内容特征和属于所述目标层共享的特征类别中具象内容特征类别的具象内容特征；
[0204]
第二确定子单元，用于基于所述抽象内容特征，确定初始隐藏状态；
[0205]
第一更新子单元，用于基于所述初始隐藏状态，更新所述目标层的具象内容特征，得到所述目标层的编码器特征。
[0206]
在一些实施例中，所述第五确定单元，包括：
[0207]
第三确定子单元，用于基于所述目标层的隐藏状态和所述目标层的编码器特征，确定所述第一图像在所述目标层的掩膜信息；
[0208]
第一生成子单元，用于将所述目标层的具象内容特征和所述目标层的掩膜信息输入所述生成器，生成所述目标层的生成器特征；
[0209]
所述第一融合单元，包括：
[0210]
第一融合子单元，用于基于所述目标层的掩膜信息对所述目标层的编码器特征和所述目标层的生成器特征进行融合，得到所述第一图像在所述目标层的所述第一输出特征。
[0211]
在一些实施例中，所述第三确定子单元，还用于：在所述目标层为第一层的情况下，将所述抽象内容特征确定为所述第一层的隐藏状态；或者，在所述目标层为第i层的情况下，基于所述第(i-1)层的隐藏状态和所述第i层的具象内容特征，确定所述第i层的隐藏状态，其中，i为大于1的整数；基于第j层的隐藏状态和第(j 1)层的具象内容特征，确定所述第一图像在所述第(j 1)层的掩膜信息，其中，j为大于或等于1的整数。
[0212]
在一些实施例中，所述第一生成子单元，还用于：对所述目标层的掩膜信息进行正则化处理，得到所述目标层的稀疏掩膜信息；从所述目标层的具象内容特征中，获取与所述目标层的稀疏掩膜信息匹配的目标内容特征；将所述目标层的目标内容特征输入所述生成器，生成所述目标层的生成器特征。
[0213]
在一些实施例中，所述第一融合子单元，还用于：基于所述目标层的掩膜信息对所
述目标层的编码器特征进行调整，得到所述目标层的第一调整特征；基于所述目标层的掩膜信息的对抗信息对所述目标层的生成器特征进行调整，得到所述目标层的第二调整特征；将所述目标层的第一调整特征和所述目标层的第二调整特征进行融合，得到所述目标层的第一输出特征。
[0214]
在一些实施例中，所述第一转换模块603，还包括：
[0215]
第四确定子模块，用于采用所述图像转换网络中的风格编码器，确定所述预设图像在所述图像转换网络中每一层的风格特征；
[0216]
第一合并子模块，用于将所述图像转换网络中任一层的风格特征和对应的特征映射关系作为特征组；
[0217]
第一输入子模块，用于将所述图像转换网络中各层的特征组，输入所述图像转换网络的生成器，得到所述第二图像。
[0218]
在一些实施例中，所述图像转换网络是基于画面属于第一样本领域的第一样本图像和画面属于第二样本领域的第二样本图像对待训练网络进行训练得到的，其中，所述装置还包括：训练模块，用于对所述待训练网络进行训练，得到所述图像转换网络；其中，所述训练模块，包括：
[0219]
第一获取子模块，用于获取画面相关的所述第一样本图像和所述第二样本图像；
[0220]
第五确定子模块，用于采用所述待训练网络中的已训练内容编码器，确定所述第一样本图像在所述已训练内容编码器的每一层的第一样本特征和所述第二样本图像在所述每一层的第二样本特征；
[0221]
第六确定子模块，用于基于所述每一层的第一样本特征和所述每一层的第二样本特征，确定所述第一样本图像和所述第二样本图像在所述已训练内容编码器的每一层的样本特征映射关系；
[0222]
第二输入子模块，用于将所述每一层样本特征映射关系和所述第二样本图像的样本风格特征输入所述待训练网络的第一生成器，得到画面从所述第一样本领域转换为所述第二样本领域的转换样本图像；
[0223]
第三输入子模块，用于将所述第二样本图像的样本风格特征和所述每一层的第二样本特征输入所述待训练网络的第二生成器，得到对所述第二样本图像的画面进行重建的第一重建样本图像；
[0224]
第一调整子模块，用于基于所述转换样本图像的损失和所述第一重建样本图像的损失，对待训练网络的网络参数进行调整，得到所述图像转换网络。
[0225]
在一些实施例中，所述第一获取子模块，包括：
[0226]
第一获取单元，用于获取预设噪声和至少包括第一样本领域和第二样本领域的领域标签集合；
[0227]
第一生成单元，用于将所述预设噪声和所述领域标签集合输入已训练对抗网络，生成具有相匹配的语义信息的所述第一样本图像和所述第二样本图像。
[0228]
在一些实施例中，所述装置还包括：
[0229]
第二训练模块，用于基于所述第一样本图像和所述第二样本图像对待训练内容编码器进行训练，得到所述已训练内容编码器。
[0230]
在一些实施例中，所述第二训练模块，包括：
[0231]
第七确定子模块，用于采用所述待训练内容编码器，确定所述第一样本图像的第一预测内容特征和所述第二样本图像的第二预测内容特征；
[0232]
第一重建子模块，用于将所述第一预测内容特征、所述第一样本图像的样本风格特征和所述第一样本领域输入解码器，对所述第一样本图像进行重建，得到第二重建样本图像；
[0233]
第八确定子模块，用于确定所述第二重建样本图像和所述第一样本图像之间的第一损失；
[0234]
第九确定子模块，用于确定所述第二预测内容特征和所述第一预测内容特征之间的第二损失；
[0235]
第二调整子模块，用于基于所述第一损失和所述第二损失，对所述待训练内容编码器的网络参数进行调整，得到所述已训练内容编码器。
[0236]
在一些实施例中，所述第一调整子模块，包括：
[0237]
第六确定单元，用于基于所述转换样本图像的内容特征和所述第一样本图像的内容特征，确定所述转换样本图像的损失；
[0238]
第七确定单元，用于基于所述第一重建样本图像的风格特征和所述第二样本图像的风格特征，确定所述第一重建样本图像的损失；
[0239]
第八确定单元，用于确定所述第一重建样本图像和所述第二样本图像之间的对抗损失；
[0240]
第一调整单元，用于基于所述所述转换样本图像的损失、所述第一重建样本图像的损失和所述对抗损失，对所述对待训练网络的网络参数进行调整，得到所述图像转换网络。
[0241]
需要说明的是，以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本技术装置实施例中未披露的技术细节，请参照本技术方法实施例的描述而理解。
[0242]
需要说明的是，本技术实施例中，如果以软件功能模块的形式实现上述的图像转换方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是终端、服务器等)执行本技术各个实施例所述方法的全部或部分。而前述的存储介质包括：u盘、运动硬盘、只读存储器(read only memory，rom)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本技术实施例不限制于任何特定的硬件和软件结合。
[0243]
对应地，本技术实施例再提供一种计算机程序产品，所述计算机程序产品包括计算机可执行指令，该计算机可执行指令被执行后，能够实现本技术实施例提供的图像转换方法中的步骤。
[0244]
相应的，本技术实施例再提供一种计算机存储介质，所述计算机存储介质上存储有计算机可执行指令，所述该计算机可执行指令被处理器执行时实现上述实施例提供的图像转换方法的步骤。
[0245]
相应的，本技术实施例提供一种电子设备，图7为本技术实施例提供的电子设备的
组成结构示意图，如图7所示，所述电子设备700包括：一个处理器701、至少一个通信总线、通信接口702、至少一个外部通信接口和存储器703。其中，通信接口702配置为实现这些组件之间的连接通信。其中，通信接口702可以包括显示屏，外部通信接口可以包括标准的有线接口和无线接口。其中所述处理器701，配置为执行存储器中图像处理程序，以实现上述实施例提供的图像转换方法的步骤。
[0246]
以上图像转换装置、电子设备和存储介质实施例的描述，与上述方法实施例的描述是类似的，具有同相应方法实施例相似的技术描述和有益效果，限于篇幅，可案件上述方法实施例的记载，故在此不再赘述。对于本技术图像转换装置、电子设备和存储介质实施例中未披露的技术细节，请参照本技术方法实施例的描述而理解。
[0247]
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本技术的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本技术的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
[0248]
在本技术所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
[0249]
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
[0250]
另外，在本技术各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(read only memory，rom)、磁碟或者光盘等各种可以存储程序代码的介质。
[0251]
或者，本技术上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实施
例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机、服务器、或者网络设备等)执行本技术各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、rom、磁碟或者光盘等各种可以存储程序代码的介质。以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。