一种儿童手绘形象的动作自动重定向方法

本发明属于动画重定向，具体还涉及图像分割、显著性检测、人体姿态估计等领域。

背景技术：

1、动画重定向技术是动画制作领域的一项关键技术，它允许将捕捉到的真实人物的动作应用到虚拟角色上。这一技术在电影制作、游戏开发、虚拟现实和增强现实等多个领域发挥着重要作用。传统的动作捕捉技术主要依赖于使用传感器或标记来追踪演员的动作，这些方法虽然能够提供高精度的数据，但成本较高，且在实施过程中对演员的活动范围有较大限制。随着计算机视觉技术的发展，基于视频的动作捕捉技术逐渐成为研究的热点，通过分析视频中的图像序列，使用机器学习算法来估计人体的姿态和动作，无需额外的硬件设备，从而降低了成本并提高了灵活性。

2、尽管现有的基于视频的动作捕捉技术在降低成本和提高灵活性方面取得了显著进展，但它们主要针对真实世界中的人类演员，对于非真实、艺术化的虚拟角色，其适用性仍存在明显不足。尤其是对于儿童自己的手绘角色，它们的特点是线条较少，在形状和结构上与真实人类存在显著差异，这些技术在捕捉和重定向动作时的表现并不理想。此外，生成的动画素材通常需要经过大量的后期处理和调整，以确保动作与虚拟角色的自然融合。这种复杂的处理过程不仅耗时耗力，而且对使用者的技术水平要求较高。如何将真实人物的动画素材高效、准确地迁移到抽象的儿童手绘形象上，是一个值得研究的问题。

技术实现思路

1、针对儿童手绘形象的动作素材快速自动生成问题，本发明旨在提供一种结合多种图像算法的儿童手绘形象的动作重定向方法，其思路就是构建手绘形象提取模型算法，将手绘形象从儿童手绘画中提取出来；将视频中的动作数据提取出来，以bvh的格式保存；最后，将提取出来的动作捕捉数据，经过一系列动作重定向算法，迁移到提取出来的儿童手绘形象上去。本发明实现了将视频中的人物动作自动地重定向到儿童手绘角色形象上。

2、实现本发明目的的具体技术方案是：

3、一种儿童手绘形象的动作自动重定向方法，包括以下步骤：

4、步骤1：儿童手绘形象提取

5、构建基于显著性检测的形象提取模型，对输入的儿童手绘画进行显著性目标提取，得到目标形象掩码，然后使用儿童手绘人体形象关节点检测模型进行关节点检测，得到确定了关节点信息的儿童手绘形象；

6、步骤2：视频动作提取

7、对输入的人物运动视频进行人体姿态估计(human pose estimation)，得到姿态运动信息，然后对姿态运动信息进行归一化处理，得到bvh文件；

8、步骤3：儿童手绘角色动作重定向

9、将从视频中提取到的姿态运动信息与原手绘形象的关节点信息进行自动关节点映射，使用基于pca的投影算法将三维姿态信息投影到二维，最后使用基于arap算法进行蒙皮，将从视频中提取到的动作重定向到儿童手绘形象上；其中：

10、步骤1所述构建基于显著性检测的形象提取模型，具体包括：构建模型：将深层嵌套u型网络u2-net架构作为模型的基础架构，自定义层级数和每一层的通道数，构建由5个编码器和4个解码器的u2-net结构模型，每个编码器和解码器的中间层通道数为16，输出层通道数为64，让模型能够兼顾分割效率和分割效果；构建数据集：对儿童手绘角色画样本进行标注，从儿童手绘画照片中标注出属于角色形象的像素部分，对标注好的所有数据，按照2∶1划分出训练集和测试集；在训练的过程中，采用adam优化器，使用二元交叉熵损失函数，计算每个尺度下的损失函数叠加，经过至少500次的迭代，得到能够准确将儿童手绘形象提取出来的形象提取模型。

11、进一步，所述步骤2，具体包括：

12、2.1对视频中的人物执行关节点检测，得到二维姿态信息；具体为：使用 openpose模型检测出人体的各个关键点包括颈部、右肩及右手肘，然后将这些点连接起来，形成完整的人体骨架结构；对视频中的每一帧进行识别，得到人体的各个二维关节点；

13、2.2执行3d姿态检测算法；具体为使用 videopose3d 模型对2d 关节点序列进行学习和分析，得到对应的 3d 姿态序列；

14、2.3生成bvh文件和归一化；具体为：初始化bvh结构、写入bvh头部信息、写入bvh动作数据以及bvh文件的归一化。

15、进一步，步骤3所述进行自动关节点映射，具体为：构建一个基于靶点的树形结构遍历的自动骨骼匹配算法，自动得到两个骨骼的关节点映射关系；由于角色标注的骨骼数目和结构是确定的，因此能够首先确定所有字典中的键，这些键作为在搜索树时的靶点，都来自于手绘形象中的关节点；其关节点为：左手、左肘、左脚、左膝、重心、颈部、右手、右肘、右脚、右膝；通过对骨骼树进行深度优先遍历和模糊匹配，自动化地获取完整的骨骼匹配结果。

16、本发明提出的儿童手绘形象动作重定向方法，旨在解决上述问题。该方法首先通过显著性检测和关节点检测技术从儿童手绘画中提取手绘形象，然后利用人体姿态估计和三维姿态检测算法从视频中提取动作数据。最后，通过一系列重定向算法，将动作数据迁移到手绘形象上，实现了儿童手绘角色形象动作的自动重定向。

技术特征：

1.一种儿童手绘形象的动作自动重定向方法，其特征在于，包括以下步骤：

2.如权利要求1所述的儿童手绘形象的动作自动重定向方法，其特征在于，所述步骤2，具体包括：

3.如权利要求1所述的儿童手绘形象的动作自动重定向方法，其特征在于，步骤3所述进行自动关节点映射，具体为：构建一个基于靶点的树形结构遍历的自动骨骼匹配算法，自动得到两个骨骼的关节点映射关系；由于角色标注的骨骼数目和结构是确定的，因此能够首先确定所有字典中的键，这些键作为在搜索树时的靶点，都来自于手绘形象中的关节点；其关节点为：左手、左肘、左脚、左膝、重心、颈部、右手、右肘、右脚、右膝；通过对骨骼树进行深度优先遍历和模糊匹配，自动化地获取完整的骨骼匹配结果。

技术总结本发明公开了一种儿童手绘形象的动作自动重定向方法，该方法包括三个步骤：儿童手绘形象提取：构建手绘形象提取模型算法，将手绘形象和人物关节点从儿童手绘画中提取出来；视频动作提取：将视频中的动作数据提取出来，以BVH的格式保存；儿童手绘角色动作重定向：将提取出来的动作捕捉数据，经过一系列动作重定向算法，迁移到提取出来的儿童手绘形象上去。本发明实现了将视频片段中的人物动作自动地重定向到儿童手绘角色形象上。技术研发人员：曾惟昊,陈小红受保护的技术使用者：华东师范大学技术研发日：技术公布日：2024/7/25