基于人工智能生成三维模型的贴图的方法和系统与流程

本公开属于图像处理领域，并且更具体地，涉及基于人工智能生成三维模型的贴图的方法和系统及其电子设备和计算机可读存储介质。

背景技术：

1、随着计算机辅助设计(cad)技术的发展，增强现实(ar)、虚拟现实(vr)、裸眼3d(三维)、混合现实(mr)以及扩展现实(xr)的应用日趋完善，引爆了各类3d视觉产品及应用的快速成熟，而这类视觉技术及产品能够完美呈现的关键因素是具有纹理逼真且尺度正常的三维模型，正确地给模型进行纹理贴图是整个工程的前提条件。

2、常见的纹理贴图方式有很多，各类渲染引擎及封装提供了经典的虚拟贴图技术。传统的纹理贴图由美工人员通过手动的方式制作完成，纹理贴图的制作在工业上还停留在手工制作、人力成本昂贵的劳动密集性阶段，如果在一个大尺度的虚拟环境中，制图的工作量将会是巨大且重复的。贴图的自动化生成在国内外还鲜少被提出。

3、图像技术发展至今，为满足工程日益增长的数据需求，自动化贴图生成技术常采用的方法是把各种模板作为预设输入，然后进行重复组合来达到贴图生成，而这种生硬的贴图生成方式很难达到灵活编辑、高保真的图像呈现状态，在内容表达上存在单一、失真、重复等缺陷。

技术实现思路

1、本公开提供了用于生成三维模型的贴图的方法和系统、以及电子设备和计算机可读存储介质，以至少解决上述相关技术中的问题，也可不解决任何上述问题。

2、根据本公开的实施例的第一方面，提供了用于生成三维模型的贴图的方法，所述方法可包括：获取视频的图像数据；通过对所述图像数据进行特征抽取，来确定与所述视频中的对象对应的三维模型的参数化函数；基于所述视频的每一帧的焦栈数据、相机内参数、以及所述三维模型的空间数据，对所述视频的场景进行三维重建，以生成三维场景空间；通过基于深度学习对所述图像数据进行分类识别，来生成所述视频的每一帧的语义标签；以及根据所述三维模型的参数化函数、所述三维场景空间的构造和所述语义标签，基于深度学习生成与所述语义标签对应的所述三维模型的表面的贴图。

3、可选地，确定所述视频中的三维模型的参数化函数的步骤可包括：对所述图像数据进行特征提取，获得所述视频中的三维模型的轮廓数据；以及基于所述轮廓数据，确定所述三维模型的参数化函数。

4、可选地，生成三维场景空间的步骤还可包括：使用所述相机内参数，对所述视频的每一帧的图像数据进行拼接，以对所生成的三维场景空间进行优化。

5、可选地，所述三维模型的空间数据可包括所述三维模型的姿态数据和所述三维模型的尺度。

6、可选地，所述方法还可包括：当与所述三维模型的表面对应的所述语义标签被改变为另一语义标签时，基于深度学习生成与所述另一语义标签对应的三维模型的表面的贴图。

7、根据本公开的实施例的第二方面，提供了用于生成三维模型的贴图的系统，所述系统可包括：数据获取模块，被配置为获取视频的图像数据；三维模型参数化模块，被配置为通过对所述图像数据进行特征抽取，来确定所述视频中的三维模型的参数化函数；三维场景空间生成模块，被配置为基于所述视频的每一帧的焦栈数据、相机内参数以及所述三维模型的空间数据，对所述视频的场景进行三维重建，以生成三维场景空间；语义标签生成模块，被配置为通过基于深度学习对所述图像数据进行分类识别，来生成所述视频的每一帧的语义标签；以及贴图生成模块，被配置为根据所述三维模型的参数化函数、所述三维场景空间的构造和所述语义标签，基于深度学习生成与所述语义标签对应的所述三维模型的表面的贴图。

8、可选地，三维模型参数化模块可被配置为：对所述图像数据进行特征提取，获得所述视频中的三维模型的轮廓数据；以及基于所述轮廓数据，确定所述三维模型的参数化函数。

9、可选地，三维场景空间生成模块还可被配置为：使用所述相机内参数，对所述视频的每一帧的图像数据进行拼接，以对所生成的三维场景空间进行优化。

10、可选地，所述三维模型的空间数据可包括所述三维模型的姿态数据和所述三维模型的尺度。

11、可选地，所述系统还可包括：当与所述三维模型的表面对应的所述语义标签被改变为另一语义标签时，基于深度学习生成与所述另一语义标签对应的三维模型的表面的贴图。

12、根据本公开的第三方面，提供了电子设备，所述电子设备可包括：至少一个处理器；至少一个存储计算机可执行指令的存储器，其中，所述计算机可执行指令在被至少一个所述处理器运行时，促使至少一个所述处理器执行所述用于生成三维模型的贴图的方法。

13、根据本公开的第四方面，提供了存储指令的计算机可读存储介质，其特征在于，当所述指令被至少一个处理器运行时，促使至少一个所述处理器执行所述用于生成三维模型的贴图的方法。

14、根据本公开的实施例，提供了一种可编辑、尺度自适应、非模板组合式的图像生成技术。首先，通过根据视频场景中的对象对应的三维模型的参数化函数、重建的三维场景空间的构造和识别出的语义标签，基于深度学习生成与语义标签对应的三维模型的表面的贴图，规避了传统图像生成方法在内容表达上存在单一、失真、重复等缺陷，使得生成的贴图在尺度上准确地保持几何一致和场景数据一致，让三维模型的每一面的贴图内容最终相互匹配，完成一个统一的模型内容表达。此外，当与三维模型的表面对应的语义标签被改变为另一语义标签时，可基于深度学习生成与该另一语义标签对应的三维模型的表面的贴图，由此，能够灵活改变图像内容，允许贴图内容的自由编辑，为三维模型的纹理贴图创作提供更多丰富素材。

技术特征：

1.用于生成三维模型的贴图的方法，包括：

2.如权利要求1所述的方法，其中，确定所述视频中的三维模型的参数化函数的步骤包括：

3.如权利要求1所述的方法，其中，生成三维场景空间的步骤还包括：

4.如权利要求1所述的方法，其中，所述三维模型的空间数据包括所述三维模型的姿态数据和所述三维模型的尺度。

5.如权利要求1所述的方法，还包括：

6.用于生成三维模型的贴图的系统，包括：

7.电子设备，包括：

8.存储指令的计算机可读存储介质，其特征在于，当所述指令被至少一个处理器运行时，促使至少一个所述处理器执行如权利要求1到6中的任意一项所述的方法。

技术总结提供了基于人工智能生成三维模型的贴图的方法和系统，所述方法包括：获取视频的图像数据；通过对所述图像数据进行特征抽取，来确定与所述视频中的对象对应的三维模型的参数化函数；基于所述视频的每一帧的焦栈数据、相机内参数、以及所述三维模型的空间数据，对所述视频的场景进行三维重建，以生成三维场景空间；通过基于深度学习对所述图像数据进行分类识别，来生成所述视频的每一帧的语义标签；根据所述三维模型的参数化函数、所述三维场景空间的构造和所述语义标签，基于深度学习生成与所述语义标签对应的所述三维模型的表面的贴图。技术研发人员：彭林春,高旻,杨历,段强,许馨月,彭刚,何关辉,甘泉,杨小刚,王发旺,请求不公布姓名受保护的技术使用者：四川见山科技有限责任公司技术研发日：技术公布日：2024/9/12