风格化图像生成模型的训练方法、装置、设备及存储介质与流程

本申请涉及计算机，具体而言，涉及一种风格化图像生成模型的训练方法、装置、设备及存储介质。

背景技术：

1、风格化图像生成技术可以通过训练风格化图像生成模型实现，现有的风格化图像生成模型的训练数据通常由采集的不同风格的图像以及各图像所对应的文本描述信息构成，文本描述信息描述了图像的内容信息以及风格信息。

2、但是，采用上述训练样本数据训练风格化图像生成模型时，模型对于图像风格的学习会受到图像内容学习的干扰，从而导致模型对于图像风格学习的准确性降低，导致生成的风格化图像的风格表示效果较差。

技术实现思路

1、本申请的目的在于，提供一种风格化图像生成模型的训练方法、装置、设备及存储介质，以便于提升生成的风格化图像的风格表示效果。

2、为实现上述目的，本申请实施例采用的技术方案如下：

3、第一方面，本申请实施例提供了一种风格化图像生成模型的训练方法，包括：

4、根据基准图像进行图像扩充，确定所述基准图像对应的多张匹配图像，各匹配图像与所述基准图像的相似度满足预设条件；

5、根据各匹配图像以及各匹配图像对应的引导风格标签，训练得到所述风格化图像生成模型，其中，各匹配图像对应的引导风格标签相同；所述引导风格标签用于指示所述风格化图像生成模型待学习的图像风格特征。

6、第二方面，本申请实施例还提供了一种图像生成模型的训练装置，包括：确定模块、训练模块；

7、所述确定模块，用于根据基准图像进行图像扩充，确定所述基准图像对应的多张匹配图像，各匹配图像与所述基准图像的相似度满足预设条件；

8、所述训练模块，用于根据各匹配图像以及各匹配图像对应的引导风格标签，训练得到所述风格化图像生成模型，其中，各匹配图像对应的引导风格标签相同；所述引导风格标签用于指示所述风格化图像生成模型待学习的图像风格特征。

9、第三方面，本申请实施例提供了一种电子设备，包括：处理器、存储介质和总线，存储介质存储有处理器可执行的机器可读指令，当电子设备运行时，处理器与存储介质之间通过总线通信，处理器执行机器可读指令，以执行如第一方面中提供的风格化图像生成模型的训练方法。

10、第四方面，本申请实施例提供了一种计算机可读存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如第一方面提供的风格化图像生成模型的训练方法。

11、本申请的有益效果是：

12、本申请提供一种风格化图像生成模型的训练方法、装置、设备及存储介质，包括：根据基准图像进行图像扩充，确定基准图像对应的多张匹配图像，各匹配图像与基准图像的相似度满足预设条件；根据各匹配图像以及各匹配图像对应的引导风格标签，训练得到风格化图像生成模型，其中，各匹配图像对应的引导风格标签相同；所述引导风格标签用于指示所述风格化图像生成模型待学习的图像风格特征。本方法可基于扩展得到的多张匹配图像，通过为各匹配图像添加相同的引导风格标签，以引导模型对于图像风格的学习，模型仅需要学习图像的风格特征，削弱对图像内容的学习，将学习的注意力侧重在风格学习上，以提升风格特征学习的准确性，从而训练得到的模型能够更好的用于生成风格化图像。

13、其次，本方法基于单张基准图像进行图像扩充，并通过图像内容特征和图像风格特征两个维度进行相似图像的检索，且通过两级检索的方式，先基于图像内容特征进行一级检索，再基于图像风格特征进行二级检索，可以提升检索得到的匹配图像的精确性，减少了人工搜集相似图像所带来的工作耗时。

14、另外，在应用风格化图像生成模型生成目标图像的过程中，将基准图像作为模型的输入数据，可以基于基准图像的图像风格特征对模型的风格生成过程进行增强，以进一步地提升模型生成的结果的精确度，使得模型生成的目标图像具有更好的风格表示。

技术特征：

1.一种风格化图像生成模型的训练方法，其特征在于，包括：

2.根据权利要求1所述的风格化图像生成模型的训练方法，其特征在于，所述根据基准图像进行图像扩充，确定所述基准图像对应的多张匹配图像，包括：

3.根据权利要求2所述的风格化图像生成模型的训练方法，其特征在于，所述根据所述基准图像的图像内容特征以及图像风格特征，进行图像相似度检索，确定所述基准图像对应的多张匹配图像，包括：

4.根据权利要求1-3任一项所述的风格化图像生成模型的训练方法，其特征在于，所述根据各匹配图像以及各匹配图像对应的引导风格标签，训练得到所述风格化图像生成模型，包括：

5.根据权利要求1-3任一项所述的风格化图像生成模型的训练方法，其特征在于，还包括：

6.根据权利要求5所述的风格化图像生成模型的训练方法，其特征在于，所述根据所述文本信息和/或所述基准图像，采用所述风格化图像生成模型，生成所述目标图像，包括：

7.根据权利要求5所述的风格化图像生成模型的训练方法，其特征在于，所述根据所述文本信息和/或所述基准图像，采用所述风格化图像生成模型，生成所述目标图像，包括：

8.根据权利要求6所述的风格化图像生成模型的训练方法，其特征在于，所述根据所述文本信息，采用所述风格化图像生成模型，生成所述目标图像，包括：

9.根据权利要求7所述的风格化图像生成模型的训练方法，其特征在于，所述根据所述文本信息以及所述基准图像，采用所述风格化图像生成模型，生成所述目标图像，包括：

10.根据权利要求8或9所述的风格化图像生成模型的训练方法，其特征在于，所述通过所述风格化图像生成模型，确定所述文本信息所指示的图像风格特征，包括：

11.一种图像生成模型的训练装置，其特征在于，包括：确定模块、训练模块；

12.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的程序指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述程序指令，以执行如权利要求1至10任一所述的图像生成模型的训练方法。

13.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至10任一所述的图像生成模型的训练方法。

技术总结本申请提供一种风格化图像生成模型的训练方法、装置、设备及存储介质，涉及计算机技术领域。该方法包括：根据基准图像进行图像扩充，确定基准图像对应的多张匹配图像，各匹配图像与基准图像的相似度满足预设条件；根据各匹配图像以及各匹配图像对应的引导风格标签，训练得到风格化图像生成模型，其中，各匹配图像对应的引导风格标签相同；引导风格标签用于指示风格化图像生成模型待学习的图像风格特征。本方法可基于扩展得到的多张匹配图像，通过为各匹配图像添加相同的引导风格标签，以引导模型对于图像风格的学习，模型仅需要学习图像的风格特征，削弱对图像内容的学习，将学习的注意力侧重在风格学习上，以提升风格特征学习的准确性。技术研发人员：章鑫锋,赵增,陈京来,刘柏,范长杰,胡志鹏受保护的技术使用者：网易（杭州）网络有限公司技术研发日：技术公布日：2024/7/29