一种基于分层表示和语义建模的三维场景图构建方法

本发明涉及三维地图技术，尤其涉及一种基于分层表示和语义建模的三维场景图构建方法。

背景技术：

1、在现代无人机系统中，三维环境的理解和建模对于导航和任务执行至关重要。传统空间感知方法的地图构建主要有两种类型：纯几何地图和扁平的度量语义地图，纯几何地图基于传感器测量数据直接构建三维几何模型，但缺乏对环境语义的描述；扁平的度量语义地图虽能提供语义信息，但其语义标签的有限性限制了对环境更丰富和动态特性的捕捉。两种地图的局限性限制了其在大型复杂环境情况下的有效性。所以，亟需创建更为精确和全面的地图，使既包含丰富的几何信息，又能准确地表达环境的语义内容，为无人机提供了精确的导航和定位信息，使其能够在复杂环境中进行有效的搜索，完成路径规划、避障和任务执行。

技术实现思路

1、本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种基于分层表示和语义建模的三维场景图构建方法。

2、本发明解决其技术问题所采用的技术方案是：一种基于分层表示和语义建模的三维场景图构建方法，包括以下步骤：

3、所述三维场景图包括由下至上的用于表示环境的基本信息的网络层、用于获取无人机姿态图和环境中物体空间布局及特征的对象和代理层、用于压缩体素与减少存储需求的地点层、用于分类和标记空间的场景层和连接到所有房间的建筑节点；

4、1)数据采集，通过无人机搭载的传感器(摄像头、激光雷达、红外传感器)采集周围环境的数据，捕捉到物体的形状、大小、颜色、纹理等信息，用体素划分空间,并对体素进行度量和语义标注,形成度量-语义体素地图。

5、2)通过重建度量-语义三维网格构建场景图的第一层：网络层；

6、2.1)度量-语义三维网格记录有空间的物理布局，并包含物体的语义信息，在度量-语义体素地图中通过使用marching cubes算法根据体素中的密度差异提取出连续的表面，生成三维几何形状，并在每个网格顶点上附加从度量-语义体素地图中继承来的语义标签,将其转换成精确的三维网格模型；

7、2.2)在无人机采集的体素地图中，选取必要的关键帧来减少模型的复杂性。为获取关键帧的详细信息，用2d语义分割网络在像素级别上分析rgb图像，并将每个像素分类到预定义的语义类别中。将语义分割结果与通过立体匹配或从传感器的深度通道得到的深度图相结合，生成带有语义标签的3d点云；

8、3)通过视觉惯性测距法和欧几里得聚类算法构建场景图的第二层：对象和代理层；

9、对三维网格进行处理来完成第二层的物体提取，通过使用网格提取技术，从复杂的三维场景中分离出独立的物体，为每个物体创建一个单独的模型；

10、3.1)构建agents层(代理层)：使用视觉惯性测距法(vio)估计无人机在环境中的位置和方向。结合无人机的视觉传感器和imu，实时追踪无人机的轨迹，获取动态数据，构建姿态图。

11、3.2)构建objects层(对象层)：使用欧几里得聚类算法对三维网格进行分割，识别并合并空间中彼此接近的点，从而将物体划分为单独的节点，并附上语义标签、质心位置和边界框等属性信息，以获取环境中物体的图形信息。

12、4)构建场景图的第三层：地点层：

13、根据tadf生成广义沃罗诺伊图(gvd)，将环境划分成由种子点定义的区域来近似稀疏的地点图；

14、4.1)使用tsdf算法(truncated signed distance function)生成gvd；通过种子brushfire算法创建表面，使用tsdf体素在截断距离内传播，从而形成明确的表面边界,最终构建了gvd。将gvd稀疏化转换为places graph(地点图)，把空间表示转换为离散的图模型；

15、4.2)用gvd的变体θsma过滤掉不稳定和噪声较大的部分，去除由于测量误差或不完整数据导致的多余结构，保留有意义的空间特征，提供更清晰、准确的空间骨架；

16、5)构建场景图的第四层：场景层；

17、持久同调算法对场景进行几何聚类，将场景分割成不同的房间，并使用神经树为其分配语义标签。

18、根据betti曲线中膨胀距离与连通分量之间的映射，通过持久同调计算最佳膨胀距离，以提取潜在的房间，过程分成两个主要阶段。

19、5.1)在第一阶段，用持久同调算法对环境数据的拓扑结构进行分析，识别和量化环境中房间的数量，计算构成房间的基本元素的连通性和维度。

20、扩张地图提取潜在房间，δ为扩张距离。

21、5.2)在第二阶段，通过洪水填充算法，检查每个未标记的节点，并与至少一个已分配的房间相联系。将未被分配的节点归入已确定的房间中。这个过程确保了所有的空间都被适当地分类和标记，从而完成了对房间的语义分割。

22、使用神经树来为每个房间分配语义标签,根据房间的几何特征、大小、形状和其他属性来预测房间在三维环境的映射，提供准确的空间信息和语义上下文。

23、6)构建场景图的第五层：连接到所有房间的建筑节点；

24、在第五层的构建过程中，首先创建一个代表建筑物的节点作为建筑物层级结构的核心，通过在建筑物节点与各个房间节点之间建立边将所有估计出的房间节点与这个建筑物节点相连形成一个中心节点，而各个房间节点则围绕着中心节点构成一个网络结构，反映建筑物内部房间的分布情况。通过这种方式，在层次化模型中体现建筑物的整体结构。

25、7)对构建的3d场景图进行闭环检测与几何验证。

26、在闭环检测中将3d场景图当前节点的描述符与历史节点的描述符进行逐一比对，沿着结构层次，从位置，到对象，再到外观描述符，如果返回足够强度的匹配，则进行几何验证。

27、本发明还提供一种电子设备，所述电子设备包括：

28、至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述方法。

29、本发明还提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现上述方法。

30、本发明产生的有益效果是：

31、1、本发明通过将空间环境分解成多个层级,在导航或交互任务中专注传输高层次语义信息，减少低层几何数据的频繁传输，有效降低通信负载；

32、2、本发明通过区分不同的空间尺度和位置关系，可以更准确地描述场景的空间布局和组织形式，更好地揭示场景的空间层次和结构关系。

技术特征：

1.一种基于分层表示和语义建模的三维场景图构建方法，其特征在于，

2.根据权利要求1所述的基于分层表示和语义建模的三维场景图构建方法，其特征在于，所述步骤2)中网络层构建如下：

3.根据权利要求2所述的基于分层表示和语义建模的三维场景图构建方法，其特征在于，所述步骤2.1)中根据体素中的密度差异提取出连续的表面使用marching cubes算法。

4.根据权利要求1所述的基于分层表示和语义建模的三维场景图构建方法，其特征在于，所述步骤3)中，通过视觉惯性测距法和欧几里得聚类算法构建场景图的第二层，具体如下：

5.根据权利要求1所述的基于分层表示和语义建模的三维场景图构建方法，其特征在于，所述步骤4)中，具体如下：

6.根据权利要求1所述的基于分层表示和语义建模的三维场景图构建方法，其特征在于，所述步骤7)中，具体如下：

7.一种电子设备，其特征在于，所述电子设备包括：

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1至6中方法。

技术总结本发明公开了一种基于分层表示和语义建模的三维场景图构建方法，包括以下步骤：1)数据采集，形成度量‑语义体素地图；2)构建场景图的第一层：用于表示环境的基本信息的网络层；3)构建场景图的第二层：用于获取无人机姿态图和环境中物体空间布局及特征的对象和代理层；4)构建场景图的第三层：用于压缩体素的地点层：5)构建场景图的第四层：用于分类和标记空间的场景层；6)构建场景图的第五层：连接到所有房间的建筑节点；7)对构建的3D场景图进行闭环检测与几何验证。本发明通过将空间环境分解成多个层级,在导航或交互任务中专注传输高层次语义信息，减少低层几何数据的频繁传输，有效降低通信负载。技术研发人员：朱曼,林丽君,刘经纬,马宗仁,曹丰智,肖欣语,吴康城,李至颖,王振华受保护的技术使用者：武汉理工大学技术研发日：技术公布日：2024/7/29