一种基于深度学习的三维MESH建筑物单体化与纹理优化方法

本发明属于摄影测量与计算机图形学领域，更具体地，涉及一种基于深度学习的三维mesh建筑物单体化与纹理优化方法。

背景技术：

1、随着计算机技术的不断发展，三维建筑物模型的精细化和纹理化程度不断提高，应用范围也不断扩大，已经成为数字化时代中不可或缺的一部分。传统三维建筑模型制作方法通常需要耗费大量时间和人力成本，且效果不够精细，模型质量难以满足现实需求。因此，自动化的精细三维建筑物模型生成方法逐渐得到了广泛关注和研究。

2、目前，主要的三维建筑物模型生成方法包括：基于规则的方法、基于图像处理的方法、基于数据驱动的方法和基于机器学习的方法：

3、(1)基于规则的方法是指依靠人工设计严谨的规则和流程进行建模，曼哈顿假设和整数编程是其中经常使用的规则方法。虽然该方法生成的三维建筑物模型精准度较高且可控性较强，但需要耗费大量人力和时间对规则进行设计，并且对于非常规的场景难以适用。

4、(2)基于图像处理的方法是指通过图像处理技术，将图像中的特征提取并转换为三维建筑物模型。该方法可以通过标定点和线条的方式将2d图像转换成3d模型，实现较好的可视化效果，但需要对图像进行复杂的处理和分析，且通常无法生成高质量的三维建筑物模型。

5、(3)基于数据驱动的方法是指从大量现有数据中学习不同场景下的特征，并利用学习得到的模型进行三维建筑物模型的生成。该方法的主要优势在于可以克服基于规则和图像处理的方法所面临的问题，在保持可控性的同时能够保证生成的三维建筑物模型的质量和效率。然而，在数据获取、数据清洗、特征提取和模型训练等方面仍存在一系列困难。

6、(4)基于机器学习的方法是指通过对现有数据进行监督或非监督学习，从中学习出模型，然后根据学习到的模型进行预测和生成。深度学习作为一种机器学习算法，在三维模型生成中得到了广泛应用。与传统的机器学习方法相比，深度学习不需要人工选择特征，而是直接从原始数据中进行学习，因此能够更好地挖掘隐藏在数据中的特征和规律。

7、三维建筑物单体化与纹理优化是基于计算机技术和工具，将现实世界中的建筑物建模成三维数字模型，以供后续的可视化、仿真、分析等应用。随着计算机技术的不断发展和应用，三维建模技术已经得到了广泛应用，而三维建筑物单体化与纹理优化作为其中的重要组成部分，给建筑设计、城市规划、文化遗产保护、安全分析、应急救援、虚拟现实等领域带来了革命性的变革。在三维建筑物单体化与纹理优化的背景下，各种技术和工具得到了不断推广和应用，如三维扫描技术、建筑信息模型(bim)、计算机辅助设计(cad)和虚拟现实(vr)等。

8、三维建筑物单体化与纹理优化技术，在虚拟现实、建筑设计、城市规划和智慧交通等领域已经发挥了重要的作用，并随着计算机和传感器技术的进步，其应用范围和影响力只会进一步扩大。这些技术不断地发展和创新，为我们提供了越来越多的便利和效益。随着各种移动设备的广泛使用，三维建筑物模型生成技术也在不断地创新和进步，推动了技术的快速发展。未来，随着技术进步和应用领域的进一步扩展，三维建筑物单体化与纹理优化的技术将变得更加普及和重要。

9、然而，尽管当前这些技术正在不断进步，我们仍旧面临着一些挑战。目前，仍然缺乏一种有效的方法，能够充分利用三维建筑物的几何与纹理信息，并结合深度学习模型来进行建筑物单体化与纹理优化。这一方法的缺失，限制了三维模型在实际应用中的精确度和实用性。

技术实现思路

1、本发明针对传统三维建模过程中耗费时间且容易出错的建筑物手工创建、细节调整的问题和不足，提供一种基于深度学习的三维mesh建筑物单体化与纹理优化方法。该方法通过结合三维点云深度学习算法、建筑物及其部件语义分割模型训练以及倾斜摄影三维建筑物模型的信息，能够充分利用三维mesh的几何与纹理信息，实现了对建筑物的单体化与纹理优化。

2、本发明提供的技术方案如下：

3、第一方面，本发明提供一种基于深度学习的三维mesh建筑物单体化与纹理优化方法，包含以下步骤：

4、s1，构建由mesh模型转化为点云的室外大场景数据集，用于分割模型训练；

5、s2，构建并训练建筑物及其他部件的点云语义分割模型；

6、s3，利用点云语义分割模型提取建筑物外轮廓；

7、s4，程序化初步生成建筑物白膜；

8、s5，三维模型纹理烘焙，构建完善的建筑物；

9、s6，三维模型纹理优化与修复。

10、进一步，步骤s1包括以下步骤：

11、收集大量室外建筑场景倾斜摄影实景三维模型，并对其进行预处理得到三维mesh数据；

12、然后将三维mesh数据采样为点云和数字表面模型dsm，得到实景三维模型点云；

13、再对实景三维模型点云进行标注和归一化处理，获得包含实际三维坐标、rgb颜色以及归一化坐标信息的室外场景语义分割模型的室外大场景数据集。

14、进一步，步骤s2中，所述点云语义分割模型包括分层点集特征学习模块、分割模块、分类模块和多分辨率成组mrg模块；

15、所述分层点集特征学习模块包括采样分组层与特征提取层；其中，采样分组层用于点云数据的采样和分组，特征提取层采用基于多层mlp与特征变换的pointnet实现；分层点集特征学习模块输出的结果分别经分割模块和分类模块处理；

16、所述分割模块包括插值层、特征提取层与分类层；所述分类层中包括单位pointnet层；

17、所述多分辨率成组mrg模块通过将分层点集特征学习模块中的采样分组层和特征提取层链接到分割模块中的插值层和单位pointnet层，进行多分辨率成组，实现多尺度点云特征的组合，得到每个点的类别得分，类别包括建筑物与其它；

18、所述分类模块包括单位pointnet层、全连接层与softmax层，分层点集学习模块中得到的特征经过经过分类模块得到分块类别得分；类别标签是建筑物和其他。

19、进一步，步骤s3包括以下步骤：

20、通过点云语义分割模型对输入的三维点云模型的建筑物点云进行提取，将建筑物与其他地物进行区分，利用alpha shapes算法获得建筑物轮廓。

21、进一步，步骤s4包括以下步骤：

22、利用步骤s3提取建筑物外轮廓，将三维建筑物点云外轮廓的矢量坐标和深度信息提取出来，根据轮廓建立包括立面与顶底面组成的柱体，设计自动化处理的初步建模步骤，构建建筑物白膜；

23、利用数字表面模型dsm的建筑物深度，将建筑物的深度信息整合到建模流程中，实现建筑物的三维模型自动生成。

24、进一步，步骤s5包括以下步骤：对轮廓进行简化和规则化处理，之后使用步骤s1收集的室外大场景数据集，对三维建筑物模型进行立面和屋顶的纹理烘焙。

25、进一步，步骤s6包括以下步骤：在步骤s5中构建完善的建筑物的基础上，采用lama算法，对建筑立面细节以及由于遮挡而造成的空洞缺失等还原度较差的侧面纹理进行修复。

26、本发明提供的技术方案带来的有益效果是：

27、(1)采用倾斜摄影三维建筑物建模和纹理烘焙及优化相结合的方式，充分利用三维mesh的几何与纹理信息，实现了自动化的建筑物单体化建模修模。

28、(2)纹理烘焙和侧面细节ai优化，使得模型数据更加真实、精细度更高。

29、(3)提供一种高效、流程化、自动化的建筑物建模修模技术，为相关行业带来更高效、更便捷的建模体验。

30、(4)通过引入深度学习的技术，实现了对建筑物的自动化建模和修模，大大提高了建模的效率和质量。