中文艺术海报生成方法、装置、计算机设备及存储介质与流程

本发明涉及图像处理，尤其涉及一种中文艺术海报生成方法、装置、计算机设备及存储介质。

背景技术：

1、作为信息传播的重要手段之一，艺术海报被广泛应用于广告和娱乐行业，为提高信息传播效率，根据用户提供的提示文本自动创建海报的需求也来越来越迫切，为此，诞生了文本至图像（text2image）模型进行海报生成的方式。

2、由于中文字符本身和字体样式的复杂性，传统文本至图像模型生成带有中文的海报时，无法正确生成带有艺术字体的中文字符，生成的中文艺术海报的效果不佳。而中文字符正确性和风格多样性对中文艺术海报来说至关重要，为了生成具有良好视觉效果和准确中文信息的高质量中文艺术海报，现有的中文艺术海报生成过程中，必须要人工介入，如需要人工设计风格化的中文字样（如艺术字体），然后风格化的中文字样添加至背景图像的对应位置，从而设计出满足要求的中文艺术海报，中文艺术海报生成效率较低。因此，如何兼顾中文艺术海报的生成效率和生成质量，成为中文艺术海报生成的一大难题。

技术实现思路

1、本发明提供一种中文艺术海报生成方法、装置、计算机设备及存储介质，以解决现有中文艺术海报生成方式中，存在中文艺术海报的生成效率和生成质量难以兼顾的问题。

2、提供一种中文艺术海报生成方法，包括：

3、基于背景图像和中文宣传文本，生成中文宣传文本在背景图像中的中文布局信息，背景图像和中文宣传文本通过用户输入的海报描述信息获得；

4、基于中文布局信息对背景图像进行图像定位和分割，得到中文宣传文本所在区域的局部图像；

5、基于中文宣传文本和局部图像，采用预先训练得到的目标预测模型进行文本风格预测，得到中文宣传文本的文本风格信息；

6、基于文本风格信息对中文宣传文本进行风格和图形转换处理，生成目标中文图形；

7、基于中文布局信息，将目标中文图形融合至背景图像，得到具有中文图形的中文艺术海报。

8、可选地，目标预测模型包括文本编码器、图像编码器、融合网络和预测网络，采用预先训练得到的目标预测模型进行文本风格预测，得到中文宣传文本的文本风格信息，包括：

9、通过文本编码器对中文宣传文本进行文本编码，得到中文宣传文本的中文文本特征；

10、通过图像编码器，分别对背景图像和局部图像进行图像编码，得到背景图像特征和局部图像特征；

11、通过融合网络融合中文文本特征、背景图像特征和局部图像特征，得到目标融合特征；

12、基于目标融合特征，通过预测网络对中文宣传文本进行风格预测，得到中文宣传文本的文本风格信息。

13、可选地，预测网络包括颜色预测头和字体预测头，文本风格信息包括字体特征和颜色特征，基于目标融合特征，通过预测网络对中文宣传文本进行风格预测，得到中文宣传文本的文本风格信息，包括：

14、基于目标融合特征，通过颜色预测头对中文宣传文本进行颜色预测，得到颜色特征；

15、基于目标融合特征，通过字体预测头对中文宣传文本进行字体预测，得到字体特征。

16、可选地，文本风格信息包括中文宣传文本中各中文文本行的文本风格信息，目标中文图形包括各中文文本行的中文图形，基于文本风格信息对中文宣传文本进行风格和图形转换处理，生成目标中文图形，包括：

17、对中文宣传文本中的各中文文本行进行文本编码，得到各中文文本行的文本特征；

18、对各中文文本行中的各中文字符进行笔画编码，得到各中文文本行中各中文字符的笔画特征；

19、基于各中文文本行的文本风格信息、文本特征和各中文字符的笔画特征，对各中文文本行进行风格和图形转换处理，得到各中文文本行的中文图形。

20、可选地，文本风格信息包括各中文文本行的字体特征和颜色特征，对各中文文本行进行风格和图形转换处理，得到各中文文本行的中文图形，包括：

21、分别将各中文文本行的字体特征、文本特征和各中文字符的笔画特征进行融合，得到各中文文本行的中文融合特征；

22、分别将各中文文本行的中文融合特征输入至预设生成网络，进行去噪和图形文字生成处理，得到各中文文本行的初始图形；

23、基于各中文文本行的颜色特征，对各中文文本行的初始图形进行颜色渲染，得到各中文文本行的中文图形。

24、可选地，中文宣传文本包括至少一个中文文本行，基于中文布局信息，将目标中文图形融合至背景图像，得到具有中文图形的中文艺术海报，包括：

25、在目标中文图形中确定各中文文本行中各中文字符的中文图形，并在中文布局信息中确定各中文文本行的布局信息；

26、基于各中文文本行的布局信息，采用几何粘贴的方式，将各中文文本行中各中文字符的中文图形整合至背景图像，得到中文艺术海报。

27、可选地，目标预测模型通过如下方式训练得到：

28、获取多个中文样本图，并分别对多个中文样本图进行预处理，得到各中文样本图的标准背景图、标准中文的标准风格信息，以及标准中文在中文样本图的标准区域图；

29、将中文样本图的标准中文、标准背景图和标准区域图，输入预设网络中进行风格预测，得到标准中文的预测风格信息；

30、根据预测风格信息和标准风格信息，确定总损失值；

31、当总损失值未满足收敛条件时，继续依据多个中文样本图迭代预设网络的参数，直至总损失值满足收敛条件时，确定预设网络收敛，并输出收敛的预设网络为目标预测模型。

32、提供一种中文艺术海报生成装置，包括：

33、布局模块，用于基于背景图像和中文宣传文本，生成中文宣传文本在背景图像中的中文布局信息，背景图像和中文宣传文本通过用户输入的海报描述信息获得；

34、分割模块，用于基于中文布局信息对背景图像进行图像定位和分割，得到中文宣传文本所在区域的局部图像；

35、预测模块，用于基于中文宣传文本和局部图像，采用预先训练得到的目标预测模型进行文本风格预测，得到中文宣传文本的文本风格信息；

36、转换模块，用于基于文本风格信息对中文宣传文本进行风格和图形转换处理，生成目标中文图形；

37、融合模块，用于基于中文布局信息，将目标中文图形融合至背景图像，得到具有中文图形的中文艺术海报。

38、提供一种计算机设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述中文艺术海报生成方法的步骤。

39、提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述中文艺术海报生成方法的步骤。

40、上述中文艺术海报生成方法、装置、计算机设备及存储介质所提供的一个方案中，基于背景图像和中文宣传文本，生成中文宣传文本在背景图像中的中文布局信息，背景图像和中文宣传文本通过用户输入的海报描述信息获得；基于中文布局信息对背景图像进行图像定位和分割，得到中文宣传文本所在区域的局部图像，并基于中文宣传文本和局部图像，采用预先训练得到的目标预测模型进行文本风格预测，得到中文宣传文本的文本风格信息；基于文本风格信息对中文宣传文本进行风格和图形转换处理，生成目标中文图形；基于中文布局信息，将目标中文图形融合至背景图像，得到具有中文图形的中文艺术海报。本实施例中，基于背景图像和中文宣传文本所在区域的局部图像预测得到文本风格信息，位于不同布局位置的中文字体具有不同的风格，提高了文本风格信息多样性，然后基于文本风格信息转换为目标中文图形，进而融合得到中文艺术海报，不仅可以提高中文艺术海报中字体准确性和风格多样化，还使得不同区域的中文字体风格与其所在背景呼应，能够有效提高中文艺术海报的视觉效果，无需人工介入即可快速生成高质量的中文艺术海报，在提高了中文艺术海报的生成效率的同时还兼顾了其生成质量。