基于显式空间的人体三维模型自动化重建方法、产品、介质及设备

本发明涉及三维建模，特别是涉及一种基于显式空间的人体三维模型自动化重建方法、产品、介质及设备。

背景技术：

1、在20世纪60年代和70年代，计算机图形学开始崭露头角，早期的研究主要集中在图形渲染、建模和动画制作等方面，后来人们开始尝试使用计算机来模拟和呈现三维物体。随着计算机图形学的进展，三维建模技术逐渐兴起。研究者们开始尝试将实际物体的形状、纹理等信息数字化，并以三维模型的形式存储在计算机中。20世纪80年代和90年代，计算机视觉领域取得了显著进展。研究者们开始关注如何使计算机系统理解和解释图像。这为从二维图像中提取三维信息奠定了基础，同时也为人体三维模型重建技术的发展提供了技术支持。

2、伴随着传感器技术的不断突破、算法的不断优化、深度学习技术近年的发展，人体三维模型的精度不断提高。当前人体三维模型的应用十分广泛，在医学方面，该技术可应用于疾病诊断、手术规划、医学研究等；在娱乐方面，该技术可应用于动画制作、角色设计、游戏建模等；在体育训练方面，该技术可应用于专业运动员运动分析等。人体三维模型重建技术的发展进步也将为其应用领域带来更多可能性，因此对该技术的精度等方面提出了更高的要求。

3、目前主流的数字人体建模方法是基于隐空间进行的，比如采用nerfneus，其模型的整体颜色不错，但是几何结构差，而且存在边缘模糊的问题，在部分应用场景无法满足现实需要。因此，如何突破当前人体三维模型重建方式，探究更高精度的建模方法及系统成为了本领域研究人员亟待解决的问题。

技术实现思路

1、本发明的目的是提供一种基于显式空间的人体三维模型自动化重建方法、产品、介质及设备，能够根据人体显式空间自动化重建人体三维模型，并且保证人体细节和纹理的精细程度。

2、为实现上述目的，本发明提供了如下方案。

3、一方面，本发明提供一种基于显式空间的人体三维模型自动化重建方法，包括：

4、根据棋盘格子标定方法标定相机的内外参数，得到相机的初始参数；

5、利用相机进行人体拍摄，并针对人体区域进行相机的初始参数优化和三维重建，得到人体区域的稀疏点云；

6、基于人体区域的稀疏点云重建人体对象的稠密点云；

7、基于人体对象的稠密点云重建水密的人体表面网格；

8、对人体表面网格进行优化，恢复出具有更多人体细节的三维模型；

9、利用纹理贴图对三维模型进行可视化渲染，生成人体三维模型。

10、可选地，所述根据棋盘格子标定方法标定相机的内外参数，得到相机的初始参数，具体包括：

11、选择棋盘格，并利用相机采集棋盘格在不同位置和角度下的标定图像；

12、使用角点检测算法找到每张标定图像中棋盘格的角点并通过亚像素角点检测技术精细化这些角点的位置；

13、为棋盘格的每一个角点在世界坐标系中指定一个三维坐标；

14、利用角点在标定图像上的二维位置和对应的三维坐标，使用相机标定算法计算相机的内外参数；

15、对相机的内外参数进行参数优化，目标是最小化重投影误差，得到优化后的内外参数；

16、采用优化后的内外参数对新的标定图像进行畸变校正和三维重建，验证标定结果的准确性；

17、若验证标定结果的准确性不满足要求，则重新进行标定，直至标定结果的准确性满足要求，将此时优化后的内外参数作为相机的初始参数。

18、可选地，所述利用相机进行人体拍摄，并针对人体区域进行相机的初始参数优化和三维重建，得到人体区域的稀疏点云，具体包括：

19、利用相机进行人体拍摄，对每次拍摄的二维图像进行特征点提取和人体区域mask分割，提取出二维图像中的特征点并分割出人体区域；

20、使用特征点匹配算法进行不同二维图像间的特征点匹配，并利用匹配的特征点和相机的初始参数，使用三维重建算法来估计每个特征点在三维空间中的位置，得到人体区域的稀疏点云；

21、运行局部bundleadjustment来优化相机的初始参数和人体区域的稀疏点云坐标，以最小化重投影误差，得到局部优化后的相机参数和稀疏点云。

22、可选地，所述基于人体区域的稀疏点云重建人体对象的稠密点云，具体包括：

23、通过多视立体几何方法及局部优化后的相机参数，获取人体区域的深度信息；

24、将人体区域的稀疏点云融合深度信息，生成表示人体对象的稠密点云。

25、可选地，所述基于人体对象的稠密点云重建水密的人体表面网格，具体包括：

26、从拍摄的图像中提取smplx模型并与人体对象的稠密点云进行初始匹配；

27、通过全局最小化几何误差使得生成的网格与稠密点云吻合并且保持smplx模型的几何特性；

28、进行视线冲突检测并解决视线冲突，得到全局优化完成后的人体模型；

29、对人体模型网格进行细化和密封，重建水密的人体表面网格。

30、可选地，所述对人体表面网格进行优化，恢复出具有更多人体细节的三维模型，具体包括：

31、优化人体表面网格，在保证人体关节点以及面部关键点的二维到三维一致性的前提下，尽可能减小三维模型在不同二维图像上的重投影误差，同时进行结构先验的优化，恢复出更多的人体细节，得到人体对象的三维模型。

32、可选地，所述利用纹理贴图对三维模型进行可视化渲染，生成人体三维模型，具体包括：

33、根据立体几何对应关系将二维图像中的人体颜色信息映射到纹理贴图上，并全局优化贴图；

34、将优化后的纹理贴图应用到三维模型上，使用图形渲染技术进行可视化渲染，生成人体三维模型。

35、另一方面，本发明还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现所述基于显式空间的人体三维模型自动化重建方法的步骤。

36、另一方面，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述基于显式空间的人体三维模型自动化重建方法的步骤。

37、再一方面，本发明还提供一种计算机设备，包括：存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序以实现所述基于显式空间的人体三维模型自动化重建方法的步骤。

38、根据本发明提供的具体实施例，本发明公开了以下技术效果：

39、本发明考虑了重建人体模型的人体细节和纹理精细程度，通过不断优化相机参数、减小重投影误差、全局最小化几何误差、全局贴图等步骤实现人体模型的高精细度。具体地，本发明通过利用多角度的人体影像数据，基于人体显式空间形成了一套自动化的人体三维模型重建方法，建模过程中可以更好地减小几何误差、优化相机参数。并且本发明优化重建融合了人体区域深度信息的人体表面网格，保证了重建人体的表面精度和模型紧凑度，能够获得更加精细的人体重建模型。

技术特征：

1.一种基于显式空间的人体三维模型自动化重建方法，其特征在于，包括：

2.根据权利要求1所述的基于显式空间的人体三维模型自动化重建方法，其特征在于，所述根据棋盘格子标定方法标定相机的内外参数，得到相机的初始参数，具体包括：

3.根据权利要求2所述的基于显式空间的人体三维模型自动化重建方法，其特征在于，所述利用相机进行人体拍摄，并针对人体区域进行相机的初始参数优化和三维重建，得到人体区域的稀疏点云，具体包括：

4.根据权利要求3所述的基于显式空间的人体三维模型自动化重建方法，其特征在于，所述基于人体区域的稀疏点云重建人体对象的稠密点云，具体包括：

5.根据权利要求4所述的基于显式空间的人体三维模型自动化重建方法，其特征在于，所述基于人体对象的稠密点云重建水密的人体表面网格，具体包括：

6.根据权利要求5所述的基于显式空间的人体三维模型自动化重建方法，其特征在于，所述对人体表面网格进行优化，恢复出具有更多人体细节的三维模型，具体包括：

7.根据权利要求6所述的基于显式空间的人体三维模型自动化重建方法，其特征在于，所述利用纹理贴图对三维模型进行可视化渲染，生成人体三维模型，具体包括：

8.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-7中任一项所述基于显式空间的人体三维模型自动化重建方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-7中任一项所述基于显式空间的人体三维模型自动化重建方法的步骤。

10.一种计算机设备，包括：存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现权利要求1-7中任一项所述基于显式空间的人体三维模型自动化重建方法的步骤。

技术总结本发明公开一种基于显式空间的人体三维模型自动化重建方法、产品、介质及设备，涉及三维建模领域。本发明首先根据棋盘格子标定方法标定相机的内外参数，得到相机的初始参数；然后利用相机进行人体拍摄，并针对人体区域进行相机的初始参数优化和三维重建，得到人体区域的稀疏点云；基于人体区域的稀疏点云重建人体对象的稠密点云；基于人体对象的稠密点云重建水密的人体表面网格；对人体表面网格进行优化，恢复出具有更多人体细节的三维模型；利用纹理贴图对三维模型进行可视化渲染，生成人体三维模型。本发明能够根据人体显式空间自动化重建人体三维模型，并且保证人体细节和纹理的精细程度。技术研发人员：周迎,王跃嵩,朱涛,管涛受保护的技术使用者：华中科技大学技术研发日：技术公布日：2024/11/18