一种基于图片的3D虚拟模特姿势生成方法及其系统与流程

本发明涉及三维模型领域，特别涉及一种基于图片的3d虚拟模特姿势生成方法及其系统。

背景技术：

1、三维模型是物体的多边形表示，通常用计算机或者其它视频设备进行显示，任何物理自然界存在的东西都可以用三维模型表示。随着计算机技术的不断发展，三维模型已经成为了各行各业的重要工具。在游戏、电影、建筑、产品设计等领域中，三维模型被广泛用于创造逼真的场景、视觉效果和交互体验。

2、虚拟模特是三维模型的一种具体应用，其是指使用计算机技术生成的模特，可以在数字环境中进行换装和表演。这种技术可以用于服装设计和销售，也可以用于娱乐和艺术表演。虚拟模特通常是通过三维建模和动画技术创建的，可以使用各种软件工具进行制作和编辑。和真实模特相比，虚拟模特不受时间和地点限制，可以随时进行换装和表演，同时还可以进行更精确的数据分析和测试。因此，虚拟模特在数字时代的服装行业中发挥着越来越重要的作用。

3、然而，虚拟模特的构建极为复杂，原因包括：

4、复杂的建模技术：虚拟模特需要精细的三维模型来保证其真实感。在建模过程中，需要掌握高级的建模技术，如subdivision surface、free form deformation等，才能创建出精细的模型。

5、复杂的动画技术：虚拟模特需要进行各种动作，如行走、跑步、跳跃等。在动画过程中，需要掌握各种动画技术，如关键帧动画、骨骼动画、肌肉系统等。

6、巨大的计算资源：由于虚拟模特需要处理大量的数据和算法，因此需要巨大的计算资源，如多核处理器、高性能显卡等。

7、现有技术中存在借助传感器或捕捉设备来实现虚拟模特姿势的调整，但这些传感器和捕捉设备造价极高，并且使用复杂，需要不断进行细节调整，如调整面部表情、手臂和腿部的位置、衣褶和纹理等，以保证虚拟模特的真实感和美观度。

技术实现思路

1、有鉴于此，本发明提出了一种基于图片的3d虚拟模特姿势生成方法及其系统，具体方案如下：

2、一种基于图片的3d虚拟模特姿势生成方法，包括：

3、获取包含完整人体结构的输入图片；

4、基于所述输入图片预测关于人体各部位的关键点，从各关键点中提取人体的骨骼节点的旋转信息和相对于其父节点在三维空间的相对位移，以分析得到人体的姿势表示；

5、基于所述姿势表示和所述输入图片，构建由一系列关节和骨骼组成、并能反映人体的身体结构和姿势的解析骨骼；

6、预先指定解析骨骼与预设3d虚拟模特之间的映射关系，基于所述映射关系通过骨骼姿势重定向方法将所述解析骨骼的形态映射到所述3d虚拟模特模型的骨骼上，得到3d虚拟模特的姿势。

7、在一个具体实施例中，若基于预测出的关键点解析出至少两个人体结构，则对关键点进行分割，使得每个人体结构对应一组关键点。

8、在一个具体实施例中，所述关键点的获取具体包括：

9、在所述输入图片中筛选出与人体有关的像素数据，通过预设深度神经网络从所述像素数据中提取人体特征；

10、基于人体特征预测包括头部、躯干、四肢在内的人体部位，并基于人体部位筛选出主要的骨骼节点作为关键点，确定关键点的2d坐标。

11、在一个具体实施例中，所述相对位移的获取包括：

12、预定义一个用位移向量来表示每个骨骼节点相对于其父节点的位置的人体关节树结构，位移向量的方向表示每个骨骼节点指向其父节点的方向，位移向量的大小表示每个骨骼节点与其父节点之间的距离；

13、基于相邻两个关键点的2d坐标，计算各骨骼节点在二维空间相对于其父节点的位移，得到二维位移数据；

14、基于深度学习将所述二维位移数据转换为三维空间下的相对位移。

15、在一个具体实施例中，所述旋转信息的获取包括：

16、在三维空间中定义一个关于人体整体的全局坐标系；

17、预测每个骨骼节点相对于其父关节的位移，通过合并这些位移得出每个骨骼节点在所述全局坐标系的位置；

18、知晓每个骨骼节点的位置后，通过预测每个骨骼节点相对于其父关节的旋转，即可得出每个骨骼节点在全局坐标系下的旋转。

19、在一个具体实施例中，所述3d虚拟模特模型由网格和骨骼组成，网格包含顶点和面，每个顶点与骨骼绑定并有一定的权重；

20、将解析骨骼的形态映射到3d虚拟模特的骨骼上，使得两者具有相同或相近的姿势；

21、根据每个顶点的权重和所属的骨骼，计算每个顶点的新位置，并更新3d虚拟模特的形状，得到最终的3d虚拟模特的姿势。

22、一种基于图片的3d虚拟模特姿势生成系统，包括：

23、输入单元，用于获取包含完整人体结构的输入图片；

24、姿势分析单元，用于基于所述输入图片预测关于人体各部位的关键点，从各关键点中提取人体的骨骼节点的旋转信息和相对于其父节点在三维空间的相对位移，以分析得到人体的姿势表示；

25、解析骨骼单元，用于基于所述姿势表示和所述输入图片，构建由一系列关节和骨骼组成、并能反映人体的身体结构和姿势的解析骨骼；

26、输出单元，用于预先指定解析骨骼与预设3d虚拟模特之间的映射关系，基于所述映射关系通过骨骼姿势重定向方法将所述解析骨骼的形态映射到所述3d虚拟模特模型的骨骼上，得到3d虚拟模特的姿势。

27、在一个具体实施例中，所述姿势分析单元包括：

28、节点估计网络，用于通过多层卷积、激活和池化操作从所述输入图片中与人体有关的像素数据中提取人体特征；基于人体特征预测包括头部、躯干、四肢在内的人体部位，并基于人体部位筛选出主要的骨骼节点作为关键点，确定关键点的2d坐标；

29、姿态估计网络，用于从关键点中提取人体的骨骼节点的旋转信息和相对于其父节点在三维空间的相对位移。

30、在一个具体实施例中，所述相对位移的获取包括：预定义一个用位移向量来表示每个骨骼节点相对于其父节点的位置的人体关节树结构，位移向量的方向表示每个骨骼节点指向其父节点的方向，位移向量的大小表示每个骨骼节点与其父节点之间的距离；基于相邻两个关键点的2d坐标，计算各骨骼节点在二维空间相对于其父节点的位移，得到二维位移数据；基于深度学习将所述二维位移数据转换为三维空间下的相对位移。

31、在一个具体实施例中，所述旋转信息的获取包括：在三维空间中定义一个关于人体整体的全局坐标系；预测每个骨骼节点相对于其父关节的位移，通过合并这些位移得出每个骨骼节点在所述全局坐标系的位置；知晓每个骨骼节点的位置后，通过预测每个骨骼节点相对于其父关节的旋转，即可得出每个骨骼节点在全局坐标系下的旋转。

32、有益效果：

33、本发明提供了一种基于图片的3d虚拟模特姿势生成方法及其系统，利用输入图片中的人物姿势来驱动3d虚拟模特的姿势，借助深度神经网络来预测姿势表示，使3d虚拟模特能够复现输入图片中的人物姿势，生成流程简单高效，使用成本低。并且全程无需使用复杂的传感器或捕捉设备，无需手动对图片进行标准，也无需手动调整3d虚拟模特姿势数据，尽可能的减少外部输入，只保留输入图片作为驱动。