一种多视角感知的稀疏三维模型构建方法及系统与流程

本发明涉及电力设备，尤其涉及一种多视角感知的稀疏三维模型构建方法及系统。

背景技术：

1、电力设备巡视是电力运维人员的主要任务，无人机巡视方式的引入提升了效率，改善了运维人员作业环境。随着数字化和智能化的深入，虚拟运行和数字孪生体技术的发展对实体数字模型的覆盖提出了要求。

2、目前电力设备及场景的建模，除了设计图，一般采用激光点云采集点云数据进行建模。激光点云建模方式精度高，但是周期长、处理要求高、成本高，同时采用电动无人机作为载具搭载激光点云等高负重高耗能的设备时，受电池续航限制，飞行时间更短，而电力场景安装的固定摄像头角度和拍摄的场景单一。

3、对于无需高精度测量以及实体数字模型的初始稀疏模型的快速生成需求等情况下，稀疏模型是精细模型的基础，稀疏模型实现场景三维结构的初步确定。

技术实现思路

1、为此，本发明所要解决的技术问题在于克服现有技术中无法依托可见光图像构建稀疏三维模型的问题。

2、为解决上述技术问题，本发明提供了一种多视角感知的稀疏三维模型构建方法，包括：

3、采集目标图像数据，并提取所述目标图像数据中的时间信息、坐标信息和高程信息；

4、将提取到的所述目标图像数据基于所述坐标点信息和所述高程信息，进行区域划分，得到全局图像集和多个包围盒；

5、处理单个包围盒内图像数据的配准；

6、处理邻域包围盒之间的匹配，并将邻域包围盒进行拼接，得到初始稀疏三维模型；

7、对得到的所述初始稀疏三维模型进行优化，得到多视角感知的稀疏三维模型。

8、在本发明的一个实施例中，将提取到的所述目标图像数据基于所述坐标点信息和所述高程信息，进行区域划分，得到全局图像集和多个包围盒，包括：

9、将所述目标图像数据按照图像坐标点覆盖区域，基于高程范围从低到高进行区域划分；

10、将区域外侧的坐标离散点对应的图像数据归集为全局图像集区域；

11、将不包括所述全局图像集的其余空间区域归集到采用三维坐标系中边长为20m至50m的正方形包围盒内。

12、在本发明的一个实施例中，处理单个包围盒内图像数据的配准，包括：

13、对于相同的单个包围盒内不同时间拍摄的图像，依据时间前后顺序，构建坐标约束下的序列图像；

14、将坐标在每个包围盒中的同一时间序列的图像进行匹配，得到图像集的特征点和特征点表示的三维空间结构。

15、在本发明的一个实施例中，将坐标在每个包围盒中的同一时间序列的图像进行匹配时，采用s i ft配准算法，以得到图像中的特征点匹配关系。

16、在本发明的一个实施例中，通过所述s i ft配准算法匹配图像顺序的步骤包括：

17、在同一个包围盒中依据坐标点分布情况得到中心点，计算所述中心点的三维k近邻坐标点图像，并保存为综合图像排序；

18、将前两个所述三维k近邻坐标点图像进行s ift配准，并将前两个所述三维k近邻坐标点图像的坐标点中心点作为新的中心点；

19、基于所述综合图像排序，确定第三最近坐标点，对应图像作为增量与前一次匹配结果进行匹配，直至包围盒中的图像全部匹配完成，得到包围盒的局部匹配模型。

20、在本发明的一个实施例中，处理邻域包围盒之间的匹配，并将邻域包围盒进行拼接，得到初始稀疏三维模型，包括：

21、当坐标点位置在包围盒边界或相邻面上时，将坐标点位于边界的图像分别与相邻包围盒坐标位置最近的图像进行匹配，以实现相邻包围盒对应两个或多个局部匹配模型的拼接；

22、当坐标点位置不在包围盒边界或相邻面上时，则当包围盒对齐时，选取距离共面最近的坐标点对应图像进行匹配，以实现相邻包围盒对应两个或多个局部匹配模型的拼接。

23、在本发明的一个实施例中，当对全部的所述局部匹配模型进行拼接后，得到拼接后的初始稀疏三维模型。

24、在本发明的一个实施例中，当对所述局部匹配模型进行拼接时，将所述局部匹配模型进行几何变换，并将待拼接局部匹配模型中的特征点集基于ransac算法进行单应性矩阵估计，以得到几何变换中的平移旋转矩阵。

25、本发明还提供了一种多视角感知的稀疏三维模型构建系统，应用于上述实施例中任一项所述的多视角感知的稀疏三维模型构建方法，包括：

26、图像数据提取模块，用于采集目标图像数据，并提取所述目标图像数据中的时间信息、坐标信息和高程信息；

27、分区模块，用于将提取到的所述目标图像数据基于所述坐标点信息和所述高程信息，进行区域划分，得到全局图像集和多个包围盒；

28、包围盒处理模块，用于处理单个包围盒内图像数据的配准；

29、包围盒间处理模块，用于处理邻域包围盒之间的匹配；

30、局部匹配模型拼接模块，用于将邻域包围盒进行拼接，得到初始稀疏三维模型；

31、稀疏三维模型优化模块，用于对得到的所述初始稀疏三维模型进行优化，得到多视角感知的稀疏三维模型。

32、在本发明的一个实施例中，还包括：

33、特征点提取模块，用于提取局部匹配模型中的特征点并对特征点集的质量进行优化。

34、本发明的上述技术方案相比现有技术具有以下有益效果：

35、本发明可以依托目前大量存在和正在产生的可见光图像构建初始稀疏模型，可见光图像可以通过固定和移动采集装置获取，而且不限于同类型采集装置。

技术特征：

1.一种多视角感知的稀疏三维模型构建方法，其特征在于，包括：

2.根据权利要求1所述的多视角感知的稀疏三维模型构建方法，其特征在于，将提取到的所述目标图像数据基于所述坐标点信息和所述高程信息，进行区域划分，得到全局图像集和多个包围盒，包括：

3.根据权利要求1所述的多视角感知的稀疏三维模型构建方法，其特征在于，处理单个包围盒内图像数据的配准，包括：

4.根据权利要求3所述的多视角感知的稀疏三维模型构建方法，其特征在于，将坐标在每个包围盒中的同一时间序列的图像进行匹配时，采用si ft配准算法，以得到图像中的特征点匹配关系。

5.根据权利要求4所述的多视角感知的稀疏三维模型构建方法，其特征在于，通过所述si ft配准算法匹配图像顺序的步骤包括：

6.根据权利要求1所述的多视角感知的稀疏三维模型构建方法，其特征在于，处理邻域包围盒之间的匹配，并将邻域包围盒进行拼接，得到初始稀疏三维模型，包括：

7.根据权利要求6所述的多视角感知的稀疏三维模型构建方法，其特征在于，当对全部的所述局部匹配模型进行拼接后，得到拼接后的初始稀疏三维模型。

8.根据权利要求6所述的多视角感知的稀疏三维模型构建方法，其特征在于,当对所述局部匹配模型进行拼接时，将所述局部匹配模型进行几何变换，并将待拼接局部匹配模型中的特征点集基于ransac算法进行单应性矩阵估计，以得到几何变换中的平移旋转矩阵。

9.一种多视角感知的稀疏三维模型构建系统，应用于权利要求1-8中任一项所述的多视角感知的稀疏三维模型构建方法，其特征在于，包括：

10.根据权利要求9所述的多视角感知的稀疏三维模型构建系统，其特征在于，还包括：

技术总结本发明涉及电力设备技术领域，具体涉及一种多视角感知的稀疏三维模型构建方法及系统，方法包括采集目标图像数据，并提取所述目标图像数据中的时间信息、坐标信息和高程信息；将提取到的所述目标图像数据基于所述坐标点信息和所述高程信息，进行区域划分，得到全局图像集和多个包围盒；处理单个包围盒内图像数据的配准；处理邻域包围盒之间的匹配，并将邻域包围盒进行拼接，得到初始稀疏三维模型；对得到的所述初始稀疏三维模型进行优化，得到多视角感知的稀疏三维模型。本发明可以依托目前大量存在和正在产生的可见光图像构建初始稀疏模型，可见光图像可以通过固定和移动采集装置获取，而且不限于同类型采集装置。技术研发人员：张娜,徐波,刘豪,刘嘉,魏艺君,杨罡,侯殊琦,梁基重,孟晓凯,李永祥,刘志翔,李国栋,张紫薇,樊霞,贺丹,龚曼受保护的技术使用者：国网山西省电力公司电力科学研究院技术研发日：技术公布日：2024/7/29