图像处理方法、装置、电子设备、及计算机可读存储介质与流程

本申请涉及图像处理技术，尤其涉及一种图像处理方法、装置、电子设备及计算机可读存储介质。

背景技术：

1、相关技术在一些文生成图的生成任务中，用户给出一段想要描述的文本作为提示语，如剧情文本或是武侠小说文本，基于提示语采用图像生成模型对应生成的多个剧情图像作为提示语的配图。但在这种根据提示语直接生成图像的方法容易导致最终产生配图的效果不佳。

2、一方面，用户输入的提示语的描述内容可能较为抽象，例如描述的内容可能是种类繁多且复杂的动作，而这些动作却难以在图像中完美体现出来，使得生成图像与提示语匹配度较低。另一方面，用户给出的提示语的语句中可能会包含许多分句，并且这些分句描述的元素和内容也可能不同，由此同一个包含多个分句的提示语可以生成多张内容完全不同的生成图像，这些生成图像的差异性大、还可能存在生成元素缺失，不适合作为提示语的配图，从而影响生成图像的整体生成效果的相关性。

技术实现思路

1、本申请实施例提供一种图像处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品，通过在文生图场景中对提示语进行可生成性识别，提升图文整体的相关性。

2、本申请实施例的技术方案是这样实现的：

3、本申请实施例提供一种图像处理方法，所述方法包括：

4、获取待处理提示语；

5、获取所述待处理提示语的文本特征，将所述文本特征映射为所述待处理提示语的可生成性指标和描述类型；

6、响应于所述可生成性指标大于指标阈值、所述描述类型表征所述待处理提示语未包括动词、且所述待处理提示语包括多个子句，获取所述多个子句分别对应的相似图像，其中，所述子句与所对应的相似图像之间的图文相似度大于图文相似度阈值；

7、确定所述多个子句分别对应的相似图像之间的图像差异度；

8、响应于所述图像差异度小于图像差异度阈值，将所述多个子句分别对应的相似图像作为相应子句的配图。

9、本申请实施例提供一种图像处理装置，包括：

10、获取模块，用于获取待处理提示语；

11、映射模块，用于获取所述待处理提示语的文本特征，将所述文本特征映射为所述待处理提示语的可生成性指标和描述类型；

12、所述获取模块，还用于响应于所述可生成性指标大于指标阈值、所述描述类型表征所述待处理提示语未包括动词、且所述待处理提示语包括多个子句，获取所述多个子句分别对应的相似图像，其中，所述子句与所对应的相似图像之间的图文相似度大于图文相似度阈值；

13、确定模块，用于确定所述多个子句分别对应的相似图像之间的图像差异度；

14、所述确定模块，还用于响应于所述图像差异度小于图像差异度阈值，将所述多个子句分别对应的相似图像作为相应子句的配图。

15、本申请实施例提供一种电子设备，包括：

16、存储器，用于存储计算机可执行指令或计算机程序；

17、处理器，用于执行所述存储器中存储的计算机可执行指令或计算机程序时，实现本申请实施例提供的图像处理方法。

18、本申请实施例提供一种计算机可读存储介质，存储有计算机可执行指令或计算机程序，用于被处理器执行时，实现本申请实施例提供的图像处理方法。

19、本申请实施例提供一种计算机程序产品，包括计算机可执行指令或计算机程序，所述计算机可执行指令或计算机程序被处理器执行时，实现本申请实施例提供的图像处理方法。

20、本申请实施例具有以下有益效果：

21、通过对提示语进行可生成性评价以及对提示语描述类型进行判定，可以识别出提示语是否为包含动词、是否适合生成配图，以给出相应的处理反馈。接下来分别确定提示语中的子句的相似图像，并对每个子句的最佳相似度图像的图像差异度进行评价，最终筛选出提示语中多个子句的配图。在对提示语进行选图的基础上，实现了对提示语的子句进行更有针对性的细粒度选图，从而提高提示语对应的生成图像的整体相关性。

技术特征：

1.一种图像处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

3.根据权利要求1所述的方法，其特征在于，

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

5.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

6.根据权利要求1所述的方法，其特征在于，

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

8.根据权利要求1至7所述的方法，其特征在于，所述方法还包括：

9.根据权利要求8所述的方法，其特征在于，

10.根据权利要求9所述的方法，其特征在于，所述确定所述多个生成图像分别与所述待处理提示语之间的图文相似度，包括：

11.根据权利要求9所述的方法，其特征在于，

12.根据权利要求9所述的方法，其特征在于，

13.根据权利要求9所述的方法，其特征在于，所述确定所述保留图像与所述历史元素特征之间的元素相似度，包括：

14.根据权利要求9所述的方法，其特征在于，所述方法还包括：

15.根据权利要求9所述的方法，其特征在于，所述方法还包括：

16.根据权利要求1至7所述的方法，其特征在于，所述获取所述待处理提示语的多个生成图像，包括：

17.一种图像处理装置，其特征在于，所述装置包括：

18.一种电子设备，其特征在于，所述电子设备包括：

19.一种计算机可读存储介质，存储有计算机可执行指令或计算机程序，其特征在于，所述计算机可执行指令或计算机程序被处理器执行时实现权利要求1至16任一项所述的图像处理方法。

20.一种计算机程序产品，包括计算机可执行指令或计算机程序，其特征在于，所述计算机可执行指令或计算机程序被处理器执行时实现权利要求1至16任一项所述的图像处理方法。

技术总结本申请提供了一种图像处理方法、装置、电子设备及计算机可读存储介质；方法包括：获取待处理提示语；获取待处理提示语的文本特征，将文本特征映射为待处理提示语的可生成性指标和描述类型；响应于可生成性指标大于指标阈值、描述类型表征待处理提示语未包括动词、且待处理提示语包括多个子句，获取多个子句分别对应的相似图像；确定多个子句分别对应的相似图像之间的图像差异度；响应于图像差异度大于图像差异度阈值，将多个子句分别对应的相似图像作为相应子句的配图。本申请通过在文生图场景中对提示语进行可生成性识别，提升图文整体的相关性。技术研发人员：郭卉受保护的技术使用者：腾讯科技（深圳）有限公司技术研发日：技术公布日：2024/10/17