一种基于用户意图理解的手绘草图自动吸附式三维建模方法及系统

本发明属于三维建模，涉及一种三维建模方法，特别涉及一种基于用户意图理解的手绘草图自动吸附式三维建模方法及系统。

背景技术：

1、在一般草图建模过程中，由于用户绘制的笔画作为构造线直接定义了模型生成形状。因此，用户在基于图片的建模过程中需要根据参考图仔细绘制，并对构造线反复调整以完全匹配参考图片的轮廓。这一过程是耗时且重复的，影响建模效率。

2、参考图片中的物体轮廓往往存在遮挡现象，若直接使用视觉轮廓作为构造线，生成的三维模型不理想，如图1(a)所示。根据格式塔原则中的封闭定律(desolneux a,moisanl,morel j,et al.gestalt theory and computer vision[m]//seeing,thinking andknowing.2004:71-101.)，当我们看到不完整的形状时，大脑会通过填补空白信息并创建完整的感知形状以理解视觉信息。因此，在建模中被遮挡的部分应在感知上补全，生成一个无遮挡的感知轮廓作为构造线以创建三维模型，如图1(b)所示。然而，由于草图的抽象性与不一致性，目前的计算机方法提取草图语义信息仍存在一定困难。并且当前主流的图像分割方法主要集中于分割可见部分，得到的是具有遮挡的视觉轮廓而不是无遮挡的感知轮廓。

3、为了解决该问题，本发明提出一种基于用户意图理解的手绘草图自动吸附式三维建模方法，利用图片轮廓信息，根据用户意图将用户手绘草图笔画转换为合理的、未被遮挡的感知轮廓作为构造线以生成三维模型。本发明有效减少用户调整构造线的交互，简化草图式建模的过程。

技术实现思路

1、本发明的目的在于针对现有技术的不足，提供一种基于用户意图理解的手绘草图自动吸附式三维建模方法及系统，根据用户的手绘草图笔画捕捉用户意图，将不光滑、不准确的草绘线自动转化为合理准确、无遮挡的构造线用以生成三维模型。

2、为解决该技术问题，本发明采用的技术方案为：

3、一种基于用户意图理解的手绘草图自动吸附式三维建模方法，包括下列步骤：

4、1)以参考图片作为输入，识别图片的轮廓并将轮廓在节点处断开得到轮廓集；

5、2)用户根据参考图片中轮廓进行草图绘制，得到草绘线；

6、3)针对每条草绘线，使用整体至部分匹配方法从轮廓集中识别草绘线吸附的整条轮廓；

7、4)再使用部分至部分匹配方法从轮廓集中识别草绘线吸附的部分轮廓，即轮廓段；

8、5)将草绘线对应吸附至所获得的整条轮廓及轮廓段；

9、6)草绘线未吸附部分基于用户意图在轮廓线上进行补全，得到完整构造线；

10、7)使用构造线生成三维模型。

11、上述技术方案中，进一步地，步骤1)中所述参考图片优选为卡通图片，将输入的参考图预处理为一个二值图像，以提取图像轮廓。然后，使用细化算法(zhang t y,suen cy.a fast parallel algorithm for thinning digital patterns[j].communication ofthe acm,1984,27(3):236-239.)将提取的轮廓细化为1像素宽，并使用交叉检测核(donatil,cesano s,prati a.a complete hand-drawn sketch vectorization framework[j].multimedia tools and applications, 2019,78(14):19083-19113.)将轮廓在所有交叉点处断开，得到轮廓集c＝{ci}。

12、进一步地，步骤2)中用户绘制的笔画su与轮廓集的各轮廓ci被下采样处理为均匀点集。

13、进一步地，步骤3)中为寻找所有与su匹配的整条轮廓，采用豪斯多夫(hausdorff)距离dh作为轮廓ci和笔画su之间的匹配度度量。豪斯多夫距离定义为点集a中的任意点到点集b中最近点的最大距离，反之亦然，其公式为：

14、

15、其中，dh越小，则两个点集之间的匹配度越高。

16、进一步地，使用整体至部分匹配方法寻找笔画su吸附的整条轮廓的方法如下：对于每条轮廓ci，初始化一个大小固定为nc的滑动窗口wc，其中nc为ci的点数。该窗口wc初始起点位于用户笔画su的起点，wc将从起点逐次滑动一个点至su的终点。每次滑动都会计算ci与当前窗口wc捕获的su笔画段之间的hausdorff距离更新该轮廓的度量dh,i。对于当前su，依次处理完所有的轮廓后，对于dh,i<dε的轮廓将被选为匹配轮廓{cm}，其中dε为预设阈值，通常可根据经验设置。

17、进一步地，步骤4)中为寻找所有与su匹配的轮廓段，对于剩下的未匹配的轮廓，则进行部分至部分的匹配，以找到与su中的某段相匹配的轮廓段进行吸附。该方法输出一组笔画段及吸附的轮廓段其中ps、p′s分别是笔画段与其吸附轮廓段上的起点，pt、p′t是它们的终点。使用部分至部分匹配方法具体如下：

18、首先使用匹配轮廓{cm}中一对相邻但不相连的端点pa、pb在笔画su未吸附部分投影获得点p′a、p′b，得到笔画段投影操作指获得当前曲线上的点到目标曲线上的最近点。对于笔画段上的每个点p，计算p与其最近的未匹配轮廓上的投影点p′之间的距离dp与切线夹角θ(vp,v′p)，其中vp和v′p是p和p′的切线向量。然后使用一个以p为中心、大小为w的滑动窗口选择上的与p相邻的点，以计算p可以作为匹配段的起点或终点的似然值。似然值表示窗口中满足dp≤λ1且θ≤λ2的点的比例。当时，我们认为当前p为匹配段的起点ps。然后窗口滑动直到，我们认为当前p为该段的终点pt。窗口按笔画su的绘制顺序滑动，直到找到所有匹配的段对其中λ1、λ2、均为预设的参数，通常均可根据经验设置。

19、进一步地，步骤5)中，经过步骤3)与4)的匹配，可找到匹配轮廓集合{cm,i}，其中包括整条匹配的轮廓与部分匹配的轮廓段。用户笔画su的相关部分将直接吸附到其对应的匹配轮廓及轮廓段上。

20、进一步地，步骤6)中，对于剩下未吸附的su部分将经过如下所述的补全过程：

21、对于匹配轮廓集{cm,i}中距离小于δ，且未连接的端点对，通过插入补全曲线以连接。补全曲线使用一个具有四个控制点的贝塞尔曲线，其中两个控制点位于端点p1和p2处，另外两个控制点pa和pb位于端点切线t1和t2上，即pa＝p1+c1t1，pb＝p2+c2t2。通过优化参数c1和c2，由于需要保持笔画su的未吸附段的用户意图，能量函数设置为补全曲线和相应的未吸附笔画段su之间的豪斯多夫距离函数最小化该能量求解后得到补全曲线经过步骤3)与4)的吸附与步骤6)的补全后，草绘线su转化为一条光滑的构造线

22、进一步地，步骤7)中，将所得到的构造线用于三维模型的生成，其中基于构造线生成三维模型可以采用任意的现有方法进行实现。

23、一种基于用户意图理解的手绘草图自动吸附式三维建模系统，包括：

24、轮廓集获取模块，用于以参考图片作为输入，识别图片的轮廓并将轮廓在节点处断开得到轮廓集；

25、草绘线模块，用于供用户根据参考图片中轮廓进行草图绘制，得到草绘线；

26、轮廓吸附模块，用于针对每条草绘线，基于整体至部分匹配方法从轮廓集中识别草绘线吸附的整条轮廓；再基于部分至部分匹配方法从轮廓集中识别草绘线吸附的部分轮廓，即轮廓段；并将草绘线对应吸附至所获得的整条轮廓及轮廓段；

27、补全模块，用于针对草绘线未吸附部分基于用户意图在轮廓线上进行补全，得到完整构造线；

28、三维模型生成模块，用于使用所得到的构造线生成三维模型并输出。

29、本发明还提供一种计算机可读存储介质，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如上任一项所述的基于用户意图理解的手绘草图自动吸附式三维建模方法。

30、本发明还提供一种计算机电子设备，包括存储器和处理器；

31、所述存储器，用于存储计算机程序；

32、所述处理器，用于当执行所述计算机程序时，实现如上任一项所述的基于用户意图理解的手绘草图自动吸附式三维建模方法。

33、采用上述技术方案，用户只需要根据参考图片进行简单草绘，就能够自动生成贴合图片轮廓的草绘线，该曲线同时保留用户对于被遮挡部分的推断。这种基于用户意图的草绘吸附方式可直接生成合适的构造线以生成三维模型。

34、该发明可以应用于动漫玩具、教育、产品设计领域，提高三维建模的效率和质量。采用该技术方案结合用户意图识别与图片信息识别，减少人工调整模型构造线所需的重复交互，从而显著减少建模时间，并且能得到用户期望的结果。该技术可以被专业设计师与普通用户使用。