图像转换方法、装置、设备及存储介质

技术特征：
1.一种图像转换方法，其特征在于，所述方法包括：采用图像转换网络，确定第一图像对应的第一领域；基于所述第一领域和预设图像对应的第二领域，确定所述第一图像和所述预设图像在所述图像转换网络的各层的特征映射关系；基于所述特征映射关系，将所述第一图像的画面从所述第一领域转换为所述第二领域，得到第二图像。2.根据权利要求1所述的方法，其特征在于，所述基于所述第一领域和预设图像对应的第二领域，确定所述第一图像和所述预设图像在所述图像转换网络的各层的特征映射关系，包括：基于所述第一领域和所述第二领域，确定所述第一图像和所述预设图像之间在所述图像转换网络的每一层共享的特征类别；将所述每一层作为目标层，执行如下步骤：基于所述目标层共享的特征类别，分别确定所述第一图像在所述目标层的第一输出特征和所述预设图像在所述目标层的第二输出特征；基于所述第一输出特征和所述第二输出特征，确定所述第一图像和所述预设图像在所述目标层的特征映射关系。3.根据权利要求2所述的方法，其特征在于，所述基于所述第一领域和所述第二领域，确定所述第一图像和所述预设图像之间在所述图像转换网络的每一层共享的特征类别，包括：基于所述第一领域和所述第二领域，确定所述第一图像和所述预设图像共享的抽象内容特征类别；确定所述第一图像和所述预设图像在所述每一层共享的具象内容特征类别；基于所述抽象内容特征类别和所述每一层共享的具象内容特征类别，得到所述每一层共享的特征类别。4.根据权利要求2或3所述的方法，其特征在于，所述基于所述目标层共享的特征类别，确定所述第一图像在所述目标层的第一输出特征，包括：采用所述图像转换网络的内容编码器，确定所述目标层共享的特征类别在所述第一图像中的编码器特征；将所述目标层的编码器特征输入所述图像转换网络的生成器，确定所述目标层的生成器特征；将所述目标层的生成器特征和所述目标层的编码器特征进行融合，得到所述第一图像在所述目标层的第一输出特征。5.根据权利要求4所述的方法，其特征在于，所述采用所述图像转换网络的内容编码器，确定所述目标层共享的特征类别在所述第一图像中的编码器特征，包括：在所述第一图像中，采用所述内容编码器，确定属于所述目标层共享的特征类别中抽象内容特征类别的抽象内容特征和属于所述目标层共享的特征类别中具象内容特征类别的具象内容特征；基于所述抽象内容特征，确定初始隐藏状态；基于所述初始隐藏状态，更新所述目标层的具象内容特征，得到所述目标层的编码器
特征。6.根据权利要求4或5所述的方法，其特征在于，所述将所述目标层的编码器特征输入所述图像转换网络的生成器，确定所述目标层的生成器特征，包括：基于所述目标层的隐藏状态和所述目标层的编码器特征，确定所述第一图像在所述目标层的掩膜信息；将所述目标层的具象内容特征和所述目标层的掩膜信息输入所述生成器，生成所述目标层的生成器特征；所述将所述目标层的生成器特征和所述目标层的编码器特征进行融合，得到所述第一图像在所述目标层的第一输出特征，包括：基于所述目标层的掩膜信息对所述目标层的编码器特征和所述目标层的生成器特征进行融合，得到所述第一图像在所述目标层的所述第一输出特征。7.根据权利要求6所述的方法，其特征在于，所述基于所述目标层的隐藏状态和所述目标层的编码器特征，确定所述第一图像在所述目标层的掩膜信息，包括：在所述目标层为第一层的情况下，将所述抽象内容特征确定为所述第一层的隐藏状态；或者，在所述目标层为第i层的情况下，基于所述第(i-1)层的隐藏状态和所述第i层的具象内容特征，确定所述第i层的隐藏状态，其中，i为大于1的整数；基于第j层的隐藏状态和第(j 1)层的具象内容特征，确定所述第一图像在所述第(j 1)层的掩膜信息，其中，j为大于或等于1的整数。8.根据权利要求6或7所述的方法，其特征在于，所述将所述目标层的具象内容特征和所述目标层的掩膜信息输入所述生成器，生成所述目标层的生成器特征，包括：对所述目标层的掩膜信息进行正则化处理，得到所述目标层的稀疏掩膜信息；从所述目标层的具象内容特征中，获取与所述目标层的稀疏掩膜信息匹配的目标内容特征；将所述目标层的目标内容特征输入所述生成器，生成所述目标层的生成器特征。9.根据权利要求6至8任一项所述的方法，其特征在于，所述基于所述目标层的掩膜信息对所述目标层的编码器特征和所述目标层的生成器特征进行融合，得到所述第一图像在所述目标层的所述第一输出特征，包括：基于所述目标层的掩膜信息对所述目标层的编码器特征进行调整，得到所述目标层的第一调整特征；基于所述目标层的掩膜信息的对抗信息对所述目标层的生成器特征进行调整，得到所述目标层的第二调整特征；将所述目标层的第一调整特征和所述目标层的第二调整特征进行融合，得到所述目标层的第一输出特征。10.根据权利要求1至9任一项所述的方法，其特征在于，所述基于所述特征映射关系，将所述第一图像的画面从所述第一领域转换为所述第二领域，得到第二图像，还包括：采用所述图像转换网络中的风格编码器，确定所述预设图像在所述图像转换网络中每一层的风格特征；将所述图像转换网络中任一层的风格特征和对应的特征映射关系作为特征组；将所述图像转换网络中各层的特征组，输入所述图像转换网络的生成器，得到所述第
二图像。11.根据权利要求1至10任一项所述的方法，其特征在于，所述图像转换网络是基于画面属于第一样本领域的第一样本图像和画面属于第二样本领域的第二样本图像对待训练网络进行训练得到的，其中，所述待训练网络的训练过程，包括：获取画面相关的所述第一样本图像和所述第二样本图像；采用所述待训练网络中的已训练内容编码器，确定所述第一样本图像在所述已训练内容编码器的每一层的第一样本特征和所述第二样本图像在所述每一层的第二样本特征；基于所述每一层的第一样本特征和所述每一层的第二样本特征，确定所述第一样本图像和所述第二样本图像在所述已训练内容编码器的每一层的样本特征映射关系；将所述每一层样本特征映射关系和所述第二样本图像的样本风格特征输入所述待训练网络的第一生成器，得到画面从所述第一样本领域转换为所述第二样本领域的转换样本图像；将所述第二样本图像的样本风格特征和所述每一层的第二样本特征输入所述待训练网络的第二生成器，得到对所述第二样本图像的画面进行重建的第一重建样本图像；基于所述转换样本图像的损失和所述第一重建样本图像的损失，对待训练网络的网络参数进行调整，得到所述图像转换网络。12.根据权利要求11所述的方法，其特征在于，所述获取画面相关的所述第一样本图像和所述第二样本图像，包括：获取预设噪声和至少包括第一样本领域和第二样本领域的领域标签集合；将所述预设噪声和所述领域标签集合输入已训练对抗网络，生成具有相匹配的语义信息的所述第一样本图像和所述第二样本图像。13.根据权利要求11或12所述的方法，其特征在于，所述采用所述待训练网络中的已训练内容编码器，确定所述第一样本图像在所述待训练网络的每一层的第一样本特征和所述第二样本图像在所述每一层的第二样本特征之前，所述方法还包括：基于所述第一样本图像和所述第二样本图像对待训练内容编码器进行训练，得到所述已训练内容编码器。14.根据权利要求13所述的方法，其特征在于，所述基于所述第一样本图像和所述第二样本图像对待训练内容编码器进行训练，得到所述已训练内容编码器，包括：采用所述待训练内容编码器，确定所述第一样本图像的第一预测内容特征和所述第二样本图像的第二预测内容特征；将所述第一预测内容特征、所述第一样本图像的样本风格特征和所述第一样本领域输入解码器，对所述第一样本图像进行重建，得到第二重建样本图像；确定所述第二重建样本图像和所述第一样本图像之间的第一损失；确定所述第二预测内容特征和所述第一预测内容特征之间的第二损失；基于所述第一损失和所述第二损失，对所述待训练内容编码器的网络参数进行调整，得到所述已训练内容编码器。15.根据权利要求11至14任一项所述的方法，其特征在于，所述基于所述转换样本图像的损失和所述第一重建样本图像的损失，对待训练网络的网络参数进行调整，得到所述图像转换网络，包括：
基于所述转换样本图像的内容特征和所述第一样本图像的内容特征，确定所述转换样本图像的损失；基于所述第一重建样本图像的风格特征和所述第二样本图像的风格特征，确定所述第一重建样本图像的损失；确定所述第一重建样本图像和所述第二样本图像之间的对抗损失；基于所述所述转换样本图像的损失、所述第一重建样本图像的损失和所述对抗损失，对所述对待训练网络的网络参数进行调整，得到所述图像转换网络。16.一种图像转换装置，其特征在于，所述装置包括：第一确定模块，用于采用图像转换网络，确定第一图像对应的第一领域；第二确定模块，用于基于所述第一领域和预设图像对应的第二领域，确定所述第一图像和所述预设图像在所述图像转换网络的各层的特征映射关系；第一转换模块，用于基于所述特征映射关系，将所述第一图像的画面从所述第一领域转换为所述第二领域，得到第二图像。17.根据权利要求16所述的装置，其特征在于，所述第二确定模块，包括：第一确定子模块，用于基于所述第一领域和所述第二领域，确定所述第一图像和所述预设图像之间在所述图像转换网络的每一层共享的特征类别；第二确定子模块，用于将所述每一层作为目标层，并基于所述目标层共享的特征类别，分别确定所述第一图像在所述目标层的第一输出特征和所述预设图像在所述目标层的第二输出特征；第三确定子模块，用于基于所述第一输出特征和所述第二输出特征，确定所述第一图像和所述预设图像在所述目标层的特征映射关系。18.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有计算机可执行指令，该计算机可执行指令被执行后，能够实现图像转换方法，其中，所述方法包括：采用图像转换网络，确定第一图像对应的第一领域；基于所述第一领域和预设图像对应的第二领域，确定所述第一图像和所述预设图像在所述图像转换网络的各层的特征映射关系；基于所述特征映射关系，将所述第一图像的画面从所述第一领域转换为所述第二领域，得到第二图像。19.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时能够实现图像转换方法，其中，所述方法包括：采用图像转换网络，确定第一图像对应的第一领域；基于所述第一领域和预设图像对应的第二领域，确定所述第一图像和所述预设图像在所述图像转换网络的各层的特征映射关系；基于所述特征映射关系，将所述第一图像的画面从所述第一领域转换为所述第二领域，得到第二图像。20.一种计算机程序，包括计算机可读代码，当所述计算机可读代码在电子设备中运行时，所述电子设备中的处理器执行用于实现图像转换方法，其中，所述方法包括：采用图像转换网络，确定第一图像对应的第一领域；
基于所述第一领域和预设图像对应的第二领域，确定所述第一图像和所述预设图像在所述图像转换网络的各层的特征映射关系；基于所述特征映射关系，将所述第一图像的画面从所述第一领域转换为所述第二领域，得到第二图像。

技术总结
提供了一种图像转换方法、装置、设备及存储介质，其中，采用图像转换网络，确定第一图像对应的第一领域；基于所述第一领域和预设图像对应的第二领域，确定所述第一图像和所述预设图像在所述图像转换网络的各层的特征映射关系；基于所述特征映射关系，将所述第一图像的画面从所述第一领域转换为所述第二领域，得到第二图像。第二图像。第二图像。


技术研发人员：杨帅 蒋李鸣 刘子纬 吕健勤 钱晨
受保护的技术使用者：南洋理工大学
技术研发日：2022.02.25
技术公布日：2022/6/10