文字艺术图案智能生成方法

1.本发明涉及计算机图形学和艺术人文领域，尤其是涉及一种文字艺术图案智能生成方法。


背景技术：

2.文字艺术图案类似于文字画，是由单词组合而成的复合艺术品，它直观地表达单词或短语的意思。文字艺术图案可以很好地保存给定图像的视觉特征和内容，如颜色、纹理和语义。在给定图像的主题的情况下，它能够吸引人们的注意力，传达更丰富的信息。因此，文字艺术图案被广泛应用于广告、平面设计等领域。
3.传统的文字艺术图案通常是由专业艺术家以技术精度手工设计的，通常包括以下步骤：(1)分析给定图像的内容、结构和特征；(2)确定指定词的位置和内容；(3)优化布局，创造具有视觉吸引力的文字艺术图案。但传统的创作流程较为繁琐，且需要相关的专业知识，普通人无法掌握相关的专业知识。因此，有必要提出一种方法来自动模拟这些步骤。通过这种方法，用户可以轻松地创作出具有吸引力的文字艺术图案。
4.同时，如何进一步考虑高层次因素、视觉显著性和语义相关性，生成文字艺术图案，将语义相关度较高的关键词安排在更引人注意的位置，使浏览者一眼就能捕捉到文字艺术图案的主题，并且简化创作的流程，是一个值得深入的问题。


技术实现要素：

5.本发明的目的在于针对现有技术创作流程繁琐，效率低下，需要专业知识等问题提供一种简单实现在给定文本与图像的情况下，提取具有与给定源图像相似语义和视觉特征的单词组合而成的文字艺术图案智能生成方法。
6.本发明包括以下步骤：
7.1)任意给定一幅图像及与内容相关的文本；
8.2)根据边缘检测算法检测边缘，将输入图像分解为几个区域，并用平滑的向量场对每个区域进行近似；
9.3)通过对输入文本的分析，提取一些加权关键词作为图形元素，并训练一个视觉注意力模型；
10.4)基于能量的优化框架提取关键词，结合视觉注意原则和美学规则将提取的关键词排列到图像分解的几个区域中，初步合成文字艺术图案；
11.5)使用启发式方法对文本布局进一步优化，得到最终生成的文字艺术图案。
12.在步骤2)中，所述根据边缘检测算法检测边缘是选取一个静态矢量场生成模块，提供一个允许用户控制绘图面板，根据边缘检测算法检测用户的输入边缘；所述输入图像分解为几个区域，该区域即为文字填充区域。
13.在步骤3)中，所述通过对输入文本的分析，提取一些加权关键词作为图形元素，并训练一个视觉注意力模型，具体步骤可为：将文本特征提取功能进行整合，实现从输入文本
中提取关键字，并为每个关键字分配一个权重，衡量其与输入图像的语义关联性，将语义相关性和提前收集的高级面部特征进行结合，训练一个视觉注意力模型；所述视觉注意力模型用于测量输入图像中吸引观察者注意的位置的可能性；
14.所述训练一个视觉注意力模型的具体步骤可为：(1)对眼动数据进行高斯滤波平滑处理，得到连续的显著性图；(2)提取每幅图像的颜色、边缘、强度、人脸等特征映射；(3)在每次采样迭代中，从显著区域中随机选择一个坐标，然后从每个特征图中获取同一坐标上的所有灰度像素值，构成样本的分类特征向量；(4)训练线性支持向量机作为视觉注意模型。
15.在步骤4)中，所述基于能量的优化框架来提取关键词；如下式所示：
[0016][0017]ek
(x)∈{e
va
(x),eb(x),en(x),ec(x),ef(x),e
vf
(x)}
[0018]
s.t.x∈x
[0019]
式中，αk代表每个能量项的权重，e
va
(x)表示关键词根据语义权重放置在特定位置，eb(x),en(x),ec(x)分别代表视觉平衡效果、文字不重叠和紧凑性，ef(x)表示文字大小，e
vf
(x)表示在向量场中的单词排列，将提取的关键词排列到分解的区域中；
[0020]
所述视觉注意原则包括：主题相关度越大的关键词以更大的字体排列在更引人注意的位置等；所述美学规则包括：视觉平衡效果、文字不重叠和紧凑性等。
[0021]
所述合成文字艺术图案，先由步骤3)训练的视觉注意模型获得一个显著性图，结合视觉注意原则和美学规则，在图像分解的每个区域运用流线式排列提取的关键词，用显著性图进一步调整关键词的位置，确保更重要或信息更丰富的词被安排在更有吸引力的位置，形成一幅视觉上有感染力、主题鲜明的文字艺术图案。
[0022]
在步骤5)中，所述使用启发式方法对文本布局进一步优化的具体步骤可为：通过对一组种子点进行采样，并沿着向量场搜索，然后将关键字根据语义权重映射到指定区域，通过调整种子点的初始位置和采样间隔得到一系列不同的文本布局，并选择能量值最小的那一个作为文字绘制。
[0023]
本发明首先由边缘检测算法检测图像的边缘，其次根据边缘对输入图像进行区域划分，划分的区域即为文字填充区域。然后根据视觉注意原则对图像区域填充文字，根据视觉注意原则，与主题相关度越大的关键词以更大的字体排列在更引人注意的位置，文字填充的样式：主要以美学规则作为考虑点，即，视觉平衡效果、文字不重叠和紧凑性。
[0024]
与现有技术相比，本发明具有以下突出的技术效果：
[0025]
本发明能为艺术家和非专业人士生成文字艺术图案。在给定任意图像和内容相关的文本作为输入的情况下，本发明综合考虑视觉特征、文本语义信息和视觉注意机制之间的相关性。在保持输入图像的视觉特征，与关键词与输入图像之间的语义关系的基础上，生成一幅具有丰富语义信息、主题鲜明的文字艺术图案。本发明能很好的简化传统文字艺术图案的生成方法，并充分考虑到视觉特征和文本语义等信息，使得生成的文字艺术图案具有更加丰富的内涵。本发明可以应用于广告、平面设计等专业领域，辅助设计师进行创作，也可以运用于日常生活中，作为贺卡、明信片等。
附图说明
[0026]
图1为本发明实施例的流程示意图。
[0027]
图2为本发明实施例的效果参考图。
具体实施方式
[0028]
以下实施例将结合附图对本发明作进一步的说明。
[0029]
本发明实施例包括以下步骤：
[0030]
1)任意给定一幅图像及与内容相关的文本。
[0031]
2)根据边缘检测算法检测边缘，将输入图像分解为几个区域，并用平滑的向量场对每个区域进行近似；所述根据边缘检测算法检测边缘是选取一个静态矢量场生成模块，提供一个允许用户控制绘图面板，根据边缘检测算法检测用户的输入边缘；所述输入图像分解为几个区域，该区域即为文字填充区域。
[0032]
3)将文本特征提取功能进行整合，实现从输入文本中提取关键字，并为每个关键字分配一个权重，衡量其与输入图像的语义关联性，将语义相关性和提前收集的高级面部特征进行结合，训练一个视觉注意力模型；所述视觉注意力模型用于测量输入图像中吸引观察者注意的位置的可能性；所述训练一个视觉注意力模型的具体步骤可为：(1)对眼动数据进行高斯滤波平滑处理，得到连续的显著性图；(2)提取每幅图像的颜色、边缘、强度、人脸等特征映射；(3)在每次采样迭代中，从显著区域中随机选择一个坐标，然后从每个特征图中获取同一坐标上的所有灰度像素值，构成样本的分类特征向量；(4)训练线性支持向量机作为视觉注意模型。
[0033]
4)基于能量的优化框架提取关键词，结合视觉注意原则和美学规则将提取的关键词排列到图像分解的几个区域中，合成文字艺术图案；
[0034]
所述基于能量的优化框架来提取关键词，如下式所示：
[0035][0036]ek
(x)∈{e
va
(x),eb(x),en(x),ec(x),ef(x),e
vf
(x)}
[0037]
s.t.x∈x
[0038]
式中，αk代表每个能量项的权重，e
va
(x)表示关键词根据语义权重放置在特定位置，eb(x),en(x),ec(x)分别代表视觉平衡效果、文字不重叠和紧凑性，ef(x)表示文字大小，e
vf
(x)表示在向量场中的单词排列，将提取的关键词排列到分解的区域中；
[0039]
所述视觉注意原则包括：主题相关度越大的关键词以更大的字体排列在更引人注意的位置等；所述美学规则包括：视觉平衡效果、文字不重叠和紧凑性等。
[0040]
所述合成文字艺术图案，先由步骤3)训练的视觉注意模型获得一个显著性图，结合视觉注意原则和美学规则，在图像分解的每个区域运用流线式排列提取的关键词，用显著性图进一步调整关键词的位置，确保更重要或信息更丰富的词被安排在更有吸引力的位置，形成一幅视觉上有感染力、主题鲜明的文字艺术图案。
[0041]
5)使用启发式方法文本布局进行优化：通过对一组种子点进行采样，并沿着向量场搜索，然后将关键字根据语义权重映射到指定区域，通过调整种子点的初始位置和采样
间隔得到一系列不同的文本布局，并选择能量值最小的那一个作为文字绘制。
[0042]
图1给出一个英文文字艺术图案实施例流程图，具体包括以下步骤：
[0043]
(1)给定一幅图像和部分文字作为输入，如功夫熊猫图像和“article of kung fu panda”等文本；
[0044]
(2)根据边缘检测算法对输入的图像根据边缘进行划分，使用平滑向量场近似每个区域，并从文本中提取加权关键词作为图形元素，赋予权重，如给“kung fu panda”赋予0.970559的权重；
[0045]
(3)根据视觉注意原则和美学规则，将给定的文本分配到不同的区域中，对文本进行映射；
[0046]
(4)获得最终生成的文字艺术图案，即由给定的“article of kung fu panda”文本所组成的功夫熊猫形象。
[0047]
图2给出采用本发明方法生成的中文艺术图案效果参考图。
[0048]
本发明在给定图像和文字的情况下，能生成一组包含给定文字的艺术图案。本发明制定一个基于能量的优化框架，融合文本语义信息、视觉注意原则和美学规则用于指导文本布局生成。边缘检测算法能根据变化对图像进行区域划分，平滑向量场近似区域主要是指用数学方式对各区域进行表示；文本映射主要是基于本发明所提出的基于能量的优化框架，该框架能充分考虑文本语义信息、视觉注意原则、美学规则之间的关系，并实现文本的映射。