一种布局生成方法、装置、介质及设备与流程

本技术涉及人工智能，具体涉及一种布局生成方法、装置、介质及设备。

背景技术：

1、人工智能(artificial intelligence，ai)是计算机科学的一个综合技术，通过研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，例如自然语言处理、机器学习、深度学习等几大方向。随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。

2、自动化排版布局生成是实现自动化平面设计的关键，它需要在用户指定的要求下对各种模态的设计元素(如图片、文本、装饰元素等)的位置和大小进行排布，并让整体布局的视觉效果看上去美观、整齐。相关技术中基于人为定义的设计规则，利用程序对设计元素进行排布，再人工进行调整，这一方式效率低下且难以灵活应对不同的设计任务；相关技术中基于深度学习的方式可以针对特定的排版设计任务训练对应的模型，但是难以泛化到现实中多种多样的排版设计任务，对用户以自然语言描述的排版要求的理解能力也有待提升。

技术实现思路

1、为了提高自动化布局生成的智能与高效，本技术提供了一种布局生成方法、装置、介质及设备。所述技术方案如下：

2、第一方面，本技术提供了一种布局生成方法，所述方法包括：

3、获取布局任务对应的元素属性信息和所述布局任务对应的任务指示信息，所述元素属性信息表征至少一个视图元素的属性，所述任务指示信息表征所述布局任务的类型和条件；所述布局任务的类型为预设的至少一种布局类型中的任意一种；

4、对所述任务指示信息和所述元素属性信息进行文本标记化处理，得到文本序列；

5、将所述文本序列输入布局预测模型，进行针对所述布局任务的布局预测处理，得到第一布局信息，所述第一布局信息指示所述至少一个视图元素在预设视图中的布局方式。

6、可选的，所述方法还包括：

7、获取背景图像；

8、将所述背景图像输入图像编码器，进行图像特征提取处理，得到第一图像序列；

9、将所述第一图像序列输入线性映射网络，进行线性映射处理，得到第二图像序列；所述第二图像序列与所述文本序列在词表空间对齐；

10、将所述文本序列和所述第二图像序列输入所述布局预测模型，进行针对所述布局任务的布局预测处理，得到第二布局信息，所述第二布局信息指示所述至少一个视图元素在所述背景图像中的布局方式。

11、可选的，所述布局预测模型包括特征表示模块、内容感知模块和布局预测模块，所述将所述文本序列输入布局预测模型，进行针对所述布局任务的布局预测处理，得到第一布局信息，包括：

12、将所述文本序列输入所述特征表示模块，进行特征的嵌入表示处理，得到第一特征序列；

13、将所述第一特征序列输入所述内容感知模块，进行针对所述布局任务的内容感知处理，得到第一内容特征信息；

14、将所述第一内容特征信息输入所述布局预测模块，进行针对所述布局任务的布局预测处理，得到第一布局特征序列；

15、对所述第一布局特征序列进行反文本标记化处理，得到第一布局信息，所述第一布局信息为结构化文本。

16、可选的，所述第一内容特征信息包含目标查询特征、目标关键特征和数值特征，所述将所述第一特征序列输入所述内容感知模块，进行针对所述布局任务的内容感知处理，得到第一内容特征信息，包括：

17、将所述第一特征序列输入所述内容感知模块，进行归一化处理，得到归一化后的第一特征序列；

18、对所述归一化后的第一特征序列进行线性变换处理，得到查询特征、关键特征和所述数值特征；

19、确定所述至少一个视图元素中每个视图元素的旋转位置特征；

20、分别将所述查询特征和所述关键特征与所述每个视图元素的旋转位置特征进行融合，得到所述目标查询特征和所述目标关键特征。

21、可选的，所述第一内容特征信息包含目标查询特征、目标关键特征和数值特征，所述将所述第一内容特征信息输入所述布局预测模块，进行针对所述布局任务的布局预测处理，得到第一布局特征序列，包括：

22、将所述目标查询特征和所述目标关键特征输入所述布局预测模块，进行掩码处理，得到掩码查询特征和掩码关键特征；

23、对所述掩码查询特征和所述掩码关键特征进行非线性变换处理，得到当前预测轮次对应的初始布局特征；

24、对所述当前预测轮次对应的初始布局特征和所述数值特征进行融合处理，得到当前预测轮次对应的第一布局特征；

25、将所述当前预测轮次对应的第一布局特征和所述第一特征序列进行拼接，得到下一预测轮次的输入，并迭代执行内容感知处理和布局预测处理，直至得到所述第一布局特征序列。

26、可选的，所述对所述任务指示信息和所述元素属性信息进行文本标记化处理，得到文本序列，包括：

27、对文本格式的所述任务指示信息进行分词处理，得到任务文本序列；

28、从所述元素属性信息中确定所述至少一个视图元素中每个视图元素对应的文本序列；

29、将所述任务文本序列和所述每个视图元素对应的文本序列进行拼接，得到所述文本序列。

30、可选的，所述元素属性信息包括所述每个视图元素的边界框坐标数据，所述方法还包括：

31、将所述每个视图元素的边界框坐标数据进行归一化处理，得到所述每个视图元素的第一边界框坐标数据；

32、或者，将所述每个视图元素的边界框坐标数据进行位数截断，得到所述每个视图元素的第二边界框坐标数据；

33、所述从所述元素属性信息中确定所述至少一个视图元素中每个视图元素对应的文本序列，还包括：

34、根据所述每个视图元素的边界框坐标数据或所述每个视图元素的第二边界框坐标数据，对所述元素属性信息进行更新，得到目标元素属性信息；

35、从所述目标元素属性信息中确定所述至少一个视图元素中每个视图元素对应的文本序列。

36、可选的，所述方法还包括：

37、获取第一训练数据集，所述第一训练数据集包括至少一组第一图文样本数据，每组第一图文样本数据包括第一样本背景图像和与所述第一样本背景图像对应的第一描述文本，所述第一描述文本表征对应的第一样本背景图像的图像语义特征和图像几何特征；

38、将所述第一样本背景图像输入所述图像编码器，进行图像特征提取处理，得到第一样本图像序列；

39、将所述第一样本图像序列输入初始线性映射网络，进行线性映射处理，得到第二样本图像序列；

40、对与所述第一样本背景图像对应的所述第一描述文本进行文本标记化处理，得到第一样本文本序列；

41、根据所述第二样本图像序列和所述第一样本文本序列，对所述初始线性映射网络进行训练，得到所述线性映射网络。

42、可选的，所述方法还包括：

43、获取第二训练数据集，所述第二训练数据集包括所述至少一种布局类型对应的至少一组第二图文样本数据，每组第二图文样本数据包括样本布局图像和与所述样本布局图像对应的第二描述文本，所述第二描述文本表征对应的样本布局图像中至少一个样本视图元素的布局方式；

44、确定所述样本布局图像对应的第二样本背景图像和所述至少一个样本视图元素的样本元素属性信息；

45、确定所述样本布局图像对应的样本任务指示信息；

46、对所述样本任务指示信息和所述样本元素属性信息进行文本标记化处理，得到第二样本文本序列；

47、将所述第二样本背景图像输入图像编码器，进行图像特征提取处理，得到第三样本图像序列；

48、将所述第三样本图像序列输入所述线性映射网络，进行线性映射处理，得到第四样本图像序列；所述第四样本图像序列与所述第二样本文本序列在词表空间对齐；

49、将所述第二样本文本序列和所述第四样本图像序列输入大语言模型，进行布局预测处理，得到样本预测布局信息；

50、根据所述样本预测布局信息与所述第二描述文本，对所述大语言模型进行训练，得到所述布局预测模型。

51、第二方面，本技术提供了一种布局生成装置，所述装置包括：

52、第一获取模块，用于获取布局任务对应的元素属性信息和所述布局任务对应的任务指示信息，所述元素属性信息表征至少一个视图元素的属性，所述任务指示信息表征所述布局任务的类型和条件；所述布局任务的类型为预设的至少一种布局类型中的任意一种；

53、第一标记化模块，用于对所述任务指示信息和所述元素属性信息进行文本标记化处理，得到文本序列；

54、第一布局生成模块，用于将所述文本序列输入布局预测模型，进行针对所述布局任务的布局预测处理，得到第一布局信息，所述第一布局信息指示所述至少一个视图元素在预设视图中的布局方式。

55、第三方面，本技术提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如第一方面所述的一种布局生成方法。

56、第四方面，本技术提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如第一方面所述的一种布局生成方法。

57、第五方面，本技术提供了一种计算机程序产品，所述计算机程序产品包括计算机指令，所述计算机指令被处理器执行时实现如第一方面所述的一种布局生成方法。

58、本技术提供的一种布局生成方法、装置、介质及设备，具有如下技术效果：

59、本技术提供的方案提供了一个端到端的布局生成方式，可以根据输入的布局任务对应的元素属性信息和布局任务对应的任务指示信息，进行针对布局任务的布局预测处理，得到第一布局信息，其中，元素属性信息表征至少一个视图元素的属性，任务指示信息表征布局任务的类型和条件，布局信息指示至少一个视图元素在预设视图中的布局方式，能够有效提升布局生成的智能化和有效性。

60、本技术提供的方案基于布局预测模型，能够处理至少一种布局类型的布局任务，极大地满足了自动化平面设计的需求。

61、本技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。