对象的三维动态模型重建方法、系统、装置及存储介质

本公开涉及动物行为学及机器视觉，并且更具体地涉及一种对象的三维动态模型重建方法、系统、装置及存储介质。

背景技术：

1、对个体对象(动物或人造智能体)的行为建模，在艺术和科学领域都有巨大的应用价值。准确地实时重建个体的动态行为过程，在科学上可用于研究个体的感觉运动变换，在影视游戏领域可以提供逼真的视觉动态素材。

2、要实现动态个体的重建，现有技术中基本依赖人工建模和动作捕捉系统。人工建模和手工动画制作的人工成本和时间成本高，且还原度依赖人的主观写实能力，难以实现复杂交互场景和长时程的三维动态重建。在影视和游戏领域使用的动作捕捉系统，由于设计初衷是对人体动作的捕捉，局限于人体及类人体的三维动作重建，难以应用于不同尺度、不同形态以及多个个体交互的场景，特别是昆虫等小体形动物的交互过程。

3、当前技术已能够获得个体的三维结构模型(三维成像技术)和姿态模型(三维关键点检测技术)，但是如何使用姿态模型驱动三维结构模型(两个模型往往不是在同一个个体上测得的，因此需要进行匹配)，关系到最终呈现的效果，需要一个精确有效的匹配方法。

技术实现思路

1、为解决上述问题，本公开提供了一种对象的三维动态模型重建方法、系统、装置及存储介质，能够实现三维结构模型和姿态模型的匹配，从而实现交互对象(尤其是小型对象)的快速动态的三维动态建模。

2、本公开的第一方案提供了一种对象的三维动态模型的重建方法，包括：创建适用于所述对象的静态状态下的三维结构模型，其中，所述三维结构模型的外表面由大量多边形组成，所述多边形由多个顶点围成。所述重建方法进一步包括：创建所述对象在动态状态下的姿态模型，所述姿态模型指示在指定时间段内，所述对象的肢体的关键点的三维坐标的时空序列。所述重建方法进一步包括：针对能够独立运动的各个肢体区段，在所述三维结构模型中创建对应的虚拟骨骼区段，并指定所述虚拟骨骼区段相对于所述多个顶点中的各个顶点的骨骼权重，其中，所述虚拟骨骼区段具有起始端点和末端端点，所述骨骼权重表示所述虚拟骨骼区段的运动与所述顶点的移动的一致程度。所述重建方法进一步包括：针对所述时间段内的每一帧，对所述三维结构模型进行变换，使其与所述姿态模型对齐，包括：对所述三维结构模型整体进行平移，使其第一中心与所述姿态模型的第二中心重合，其中，所述第一中心在三维结构模型中的相对位置与所述第二中心在姿态模型中的相对位置对应；使所述三维结构模型整体围绕所述第一中心进行旋转，使所述三维结构模型的第一矢量与所述姿态模型的第二矢量的方向一致，其中，所述第一矢量表示至少一个所述虚拟骨骼区段的端点之间的矢量，所述第二矢量表示与所述虚拟骨骼区段的端点对应的关键点之间的矢量，且所述第一矢量和所述第二矢量对应于相同的能够表现身体整体方向的身体区域。所述重建方法进一步包括：针对所述时间段内的每一帧，调节所述三维结构模型内的各个所述虚拟骨骼区段，使得所述虚拟骨骼区段的从所述起始端点到所述末端端点的第三矢量和所述姿态模型内从第一坐标点到第二坐标点的第四矢量共线，从而得到所述对象在各个帧的虚拟三维模型，其中，所述第一坐标点与所述起始端点关联，所述第二坐标点与所述末端端点关联。所述重建方法进一步包括：组合所述时间段内的各个帧的所述虚拟三维模型，得到所述对象的所述三维动态模型。

3、本公开的第二方案提供了一种对象的三维动态模型的重建系统，其包括至少一个处理器，该处理器被配置为执行根据第一方案所述的对象的三维动态模型的重建方法。

4、本公开的第三方案提供了一种对象的三维动态模型的重建装置，其包括至少一个处理器，该处理器被配置为执行根据第一方案所述的对象的三维动态模型的重建方法。

5、本公开的第四方案提供了一种存储介质，其存储有计算机程序，所述计算机程序用于使计算机执行根据第一方案所述的对象的三维动态模型的重建方法。

技术特征：

1.一种对象的三维动态模型的重建方法，其特征在于，包括：

2.根据权利要求1所述的重建方法，其特征在于，调节所述三维结构模型内的各个所述虚拟骨骼区段，包括：

3.根据权利要求2所述的重建方法，其特征在于，改变所述虚拟骨骼区段的位置，包括：

4.根据权利要求2或3所述的重建方法，其特征在于，调节所述三维结构模型内的各个所述虚拟骨骼区段，还包括：

5.根据权利要求4所述的重建方法，其特征在于，改变所述虚拟骨骼区段的空间形状，包括：

6.根据权利要求1至3中任一项所述的重建方法，其特征在于，所述第一坐标点的三维坐标为所述姿态模型中与所述起始端点对应的第一关键点的三维坐标，所述第二坐标点的三维坐标为所述姿态模型中与所述末端端点对应的第二关键点的三维坐标。

7.根据权利要求1至3中任一项所述的重建方法，其特征在于，所述第一坐标点的三维坐标基于所述姿态模型内与所述起始端点对应位置附近的多个关键点的坐标计算得出，和/或所述第二坐标点的三维坐标基于所述姿态模型内与所述末端端点对应位置附近的多个关键点的坐标计算得出。

8.根据权利要求5所述的重建方法，其特征在于，针对可伸缩的所述肢体区段，轴向缩放所述虚拟骨骼区段的长度，使得所述第三矢量的大小与所述第四矢量的大小相等。

9.根据权利要求5所述的重建方法，其特征在于，针对不可伸缩的所述肢体区段，设定所述虚拟骨骼区段的长度，使得所述第三矢量的大小为多个帧内所述第四矢量的大小的平均值。

10.根据权利要求1至3中任一项所述的重建方法，其特征在于，所述第一矢量表示从身体尾部的虚拟骨骼区段的末端端点到身体头部的虚拟骨骼区段的前端端点的矢量，所述第二矢量表示从尾部处的关键点到头部处的关键点的矢量。

11.根据权利要求1至3中任一项所述的重建方法，其特征在于，所述三维结构模型通过使用三维成像技术对处理后的静态对象的样本进行断层扫描而得到。

12.根据权利要求1至3中任一项所述的重建方法，其特征在于，所述姿态模型通过使用三维关键点检测方法获取所述时间段内所有帧的各个肢体的关键点的三维坐标而得到。

13.根据权利要求1至3中任一项所述的重建方法，其特征在于，所述对象包括动物、可动设施和机器人中的任何一种。

14.一种对象的三维动态模型的重建系统，其特征在于，包括：

15.一种对象的三维动态模型的重建装置，其特征在于，包括：

16.一种存储介质，其存储有计算机程序，所述计算机程序用于使计算机执行根据权利要求1至13中任一项所述的对象的三维动态模型的重建方法。

技术总结本公开涉及对象的三维动态模型重建方法、系统、装置及存储介质。该方法包括：创建适用于对象的静态状态下的三维结构模型；创建对象在动态状态下的姿态模型；针对肢体区段，在三维结构模型中创建对应的虚拟骨骼区段，虚拟骨骼区段具有起始端点和末端端点；针对每一帧，对三维结构模型进行变换，使其与姿态模型对齐；针对每一帧，使虚拟骨骼区段的从起始端点到末端端点的第三矢量和姿态模型内从第一坐标点到第二坐标点的第四矢量共线，得到对象在各个帧的虚拟三维模型；以及组合该时间段内的各个帧的虚拟三维模型，得到三维动态模型。这能够实现对象的快速三维动态建模。技术研发人员：孙一,宁静,董冀峥,张兴江受保护的技术使用者：西湖大学技术研发日：技术公布日：2024/7/29