基于结构先验的室内场景布局估计方法

本发明涉及计算机视觉，更具体地说，本发明涉及基于结构先验的室内场景布局估计方法。

背景技术：

1、随着社会信息化进程的深入，信息向数字化转型成为趋势，三维重建技术作为将实际场景转化为数字虚拟环境的数字视觉技术备受关注。矢量化重建作为三维重建的重要分支，在将复杂的三维数据转换为简洁清晰的矢量模型方面具有重要意义。然而，传统三维表面重建方法侧重于生成精确且密集的三维模型，却常忽略结构和语义信息，同时3d传感器获取的点云不完整性和噪声给布局估计带来挑战。

2、目前主流的场景矢量化建模方法大体可以分为两个方向：第一种是基于几何的方法，这类方法通常基于几何学原理和计算机视觉技术。这些方法使用传感器(如深度相机，激光雷达)获取室内场景的几何信息，然后通过几何推理来估计房间的布局。这可能包括墙壁、家具和其他物体的检测、分割和重建。第二种是基于深度学习的端到端方法，端到端的室内布局估计方法采用卷积神经网络等架构从原始输入数据中学习特征和布局信息，重建场景的矢量化模型。然而，上述两种方法无法很好地协调方法鲁棒性和重建结果精度，几何推理能够提供直观的空间结构信息，简单场景，传统方法更容易实现且计算开销较小，但是在复杂室内场景中，传统方法难以应对遮挡、缺失等问题。基于深度学习的端到端方法能够从大规模数据中学习到更丰富的特征表示，但是无法保证重建结果精度，同时缺乏可解释性，难以理解网络对布局估计的具体推理过程。

技术实现思路

1、为了解决的上述技术难点，本发明的实施例提供基于结构先验的室内场景布局估计方法，方法包括：

2、步骤1、重采样点云模型；

3、步骤2、提取平面与分割结构；

4、步骤3、生成立面候选段；

5、步骤4、聚类基于可扩展图的房间；

6、步骤5，基于步骤1至步骤4所得进行轮廓墙的优化，在候选段中选择子集，生成完整的平面布局图；

7、进一步地，所述重采样点云模型方法包括：

8、将原始点云模型重建为网格模型，并利用提出的随机采样方法对网格模型的面片单元进行采样；

9、在网格模型面片单元m中，通过重采样方法对三维点p进行随机采样；随机选择一个顶点作为端点o，两条相邻的边oa和ob作为基向量对面片单元进行重采样。

10、进一步地，所述提取平面与分割结构的方法包括：

11、在现实建筑场景中，大多数场景可以通过简化的平面结构来描述，例如分段平面或曲面；为了处理点云数据的离散性并抽象出模型的结构特征，本专利提出了一种平面拟合方法，利用随机样本一致性方法从点云模型中提取平面形状单元，获取符合拟合约束条件的所有平面；拟合约束条件由ransac参数确定，包括点到平面的最大距离、法向角度阈值、每个平面的最小支持点数以及错过平面候选的最大概率等；ransac参数可根据点云数据质量进行调整，适用于各类具有不同密度和噪声水平的数据集；

12、基于平面拟合的结果，利用平面法向量对点云模型进行结构化分割，进一步实现了天花板、地板和立面的结构分割；在模型预处理阶段完成了点云模型的姿态矫正，使得可以通过拟合天花板、地板平面形状点簇的平面法向量结合坐标轴方向向量计算分割平面集。对于平面集合中的每个平面，通过将平面法向量与z轴方向向量进行点乘计算，应用约束条件来实现结构分割。

13、进一步地，所述生成立面候选段的生成方法包括：

14、z坐标包括高度信息，将垂直立面投影到水平面上，并专注于2d空间中的平面图生成；通过ransac和正则化的角度阈值分割方法，从点云模型中分别提取出平面和立面；根据floor-wall先验假设，确保平面和立面近似垂直；每个拟合得到的立面被视为墙平面的一部分，并包含一组形状点簇，即支撑点；将拟合得到的立面投影到水平面上，并将对应的二维支撑点投影到投影线上，以投影立面端点生成墙候选段；对墙壁候选段进行进一步细化处理，即线段间合并，得到立面候选段；

15、线段间合并的方法包括：

16、若两个墙段wi和wj之间的最小距离小于阈值θ2，并且满足以下条件：两个墙段的法向量夹角小于θ1，以及两个墙段的投影重合长度小于较短线段的θ3，则认为wi和wj属于同一墙段，wi和wj合并，去除ransac引入的不必要分割，θ2、θ1与θ3为预设阈值；线段间合并的方法表示公式为：

17、

18、式中，表示两个墙段wi和wj的法向量夹角，表示两个墙段wi和wj之间的最小距离，表示两个墙段wi和wj的投影重合长度。

19、进一步地，所述基于可扩展图的房间的聚类方法包括：

20、将先验估计形式化为一个投影线段的标记问题，其中，一个标记问题代表一个房间或室外区域；对标记问题使用基于可扩展图聚类的线段先验标记方法；

21、线段先验标记方法包括：

22、代表平面的线段中具有相互可见性的区域形成簇，簇对应于建筑物的房间；通过在检测到的立面线段之间进行射线投射的可见性检测，从而生成可见性图；随后，可见性图的节点通过基于可扩展图聚类算法进行聚类，基于可扩展图聚类算法利用流模拟方法确定图中的自然簇；

23、单位线段通过每列平面生成粗糙的占用位图，并将每个占用的像素视为具有与相应平面法线相同的片；设置为0.5m长度的线段，pi为第i个线段，其中心位置为ci，法线为ni；对于每一对pi，pj，i，j，通过点ci+a×ni和cj+a×nj之间进行射线投射，其中a＝10cm；若两者之间相连接的线段于两者的法向量方向一致，并且连接线段中间没有障碍物，则pi与pj之间的可见性设置为1，否则设置为0，即产生了可见性图，可见性图的节点使用聚类算法进行聚类；计算得到的可见性被解释为对应于相应点片的节点对之间的流动；

24、在得到n个不相交的片簇后，定义房间标签集合r＝{r1，....，rn}，定义房间标签将在重建过程的其余部分中使用；点云的每个点被分配给相应线段候选的房间标签；

25、进一步地，生成完整的平面布局图的方法包括：

26、使用射线投射测试检测到的表面上的点片之间的可见性，从而建立了可见性图，可见性图的节点通过聚类算法进行聚类，算法通过模拟流程来确定图中的自然簇；利用点云中区域的相互可见性，并通过基于可扩展图聚类算法识别出自然的房间簇，得到了以房间为单位的候选墙段si及与候选墙段si对应的三维支持点集p(si)；使用轮廓墙优化方法在候选段中选择子集，生成完整的平面布局图；

27、基于点支撑度的轮廓墙优化方法为贪心算法、整数规划、类粒子群算法与遗传算法中的任一种；

28、本发明提供的基于结构先验的室内场景布局估计方法技术效果和优点：

29、由图8可以观察到，本专利提出的方法在细节处理方面表现出色，能够生成准确且规则的模型。在处理凹型房间结构时，该方法成功地还原了实际墙结构。这一结果得益于专利中对重建模型上角点的重新采样策略，使得小墙面的点云密度得以均匀分布，有利于平面拟合过程中更容易识别并恢复为墙壁候选平面。此外，本专利设置了严格的正则化参数，并执行了线段去噪与合并步骤，以确保最终生成的模型符合预期的准确性和规则性。

30、此外，本专利成功消除了重建结果中常见的“纸片墙”现象，有效恢复了墙体宽度信息。基于模型点云进行了墙体宽度信息的计算，使得生成的墙体更贴近实际情况。这一结果归功于本专利采用的可拓展图聚类方法，该方法能够有效地聚类单个房间的墙候选段，并对其进行处理。相较于传统方法，这种局部处理方式显著降低了重建的拓扑复杂度，消除了不同房间之间墙候选段的相互影响，进而提高了重建的效率和准确度。