一种面向配电网无人机的三维重建方法、介质及系统与流程

本发明主要涉及配电网环境下的三维重建，具体涉及一种面向配电网无人机的三维重建方法、介质及系统。

背景技术：

1、在无人机配网巡检中，根据深度信息构建点云实现三维重建是一项重要的研究方向。传统的三维重建方法通常需要使用多个相机或激光扫描仪来获取场景的深度信息，从而构建出三维模型。

2、立体视觉方法通过使用至少两个相机来观察场景，并通过计算视差来推断场景中的深度信息。然而，该方法需要准确的相机标定和匹配，并且对场景中的纹理和光照条件敏感，限制其在复杂环境下的应用。通过分析图像中的形变，可以推断出场景的深度信息。然而，该方法需要精确的投影和成像对准，且对场景表面的反射特性敏感，不适用于一些光滑和反射性较强的表面，并且在大范围和复杂环境下的深度测量存在精度和噪音问题。另外，这些方法需要昂贵的设备和复杂的数据处理算法，限制其在配网环境实际应用中的使用。

技术实现思路

1、本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种重建精度高的面向配电网无人机的三维重建方法、介质及系统。

2、为解决上述技术问题，本发明提出的技术方案为：

3、一种面向配电网无人机的三维重建方法，包括步骤：

4、获取无人机从配电网环境采集到的视频序列；

5、根据视频序列生成成本量；

6、根据成本量预测运动物体的掩膜；

7、根据成本量和掩膜来获取深度估计结果；

8、根据深度估计结果和无人机姿态参数，进行帧间映射并生成点云，以实现三维重建。

9、优选地，根据视频序列在先验深度条件下生成成本量c(d)：

10、c(d)＝generatecostvolume(ivideo,priordepth)

11、式中，c(d)表示在不同深度d上的几何信息的成本量；generatecostvolume是用于生成成本量的函数；ivideo是输入的无人机视频序列；priordepth是先验深度条件。

12、优选地，构建三维重建深度学习模型并进行训练，以得到最终的三维重建深度学习模型；

13、将无人机从配电网环境采集到的视频序列输入至最终的三维重建深度学习模型中以实现三维重建。

14、优选地，对三维重建深度学习模型进行半监督多阶段训练，包括依次执行的引导阶段、掩膜预测模块细化阶段和深度预测模块细化阶段。

15、优选地，引导阶段包括深度预测模块引导阶段和掩膜预测模块引导阶段；其中掩膜预测模块maskmodule和深度预测模块depthmodule是分开训练的；

16、深度模块将非屏蔽c作为输入并预测深度估计结果dt，训练目标定义为多尺度半监督损失ldepth，包括自监督光度损失、边缘感知平滑度项与监督稀疏深度损失；α和β是超参数；

17、

18、其中，lself,s为自监督光度损失；lsparse,s为监督稀疏深度损失；lsmooth,s为边缘感知平滑度项；

19、在掩膜预测模块引导阶段训练中，使用掩膜损耗lmask进行训练，掩膜损耗lmask包括预测掩码mt之间的加权二进制交叉熵，以及辅助地面实况运动物体掩码maux；

20、掩膜预测模块训练目标：

21、lmask＝bce(mt,maux)

22、其中bce是二元交叉熵损失(binary cross-entropy loss)；mt是通过maskmodule预测的初始掩膜；maux由预先训练的maskrcnn和训练的深度预测模块生成的辅助地面实况移动对象掩码。

23、优选地，在掩膜预测模块细化训练中，细化训练目标：

24、

25、其中使用作为深度的静态立体光度误差；使用dt作为深度的时态立体光度误差；

26、在深度预测模块细化训练中，深度预测模块细化训练目标：

27、

28、其中，lself,s是使用作为深度的静态立体光度误差；是移动像素的深度预测与静态立体预测之间的差异；表示在假设场景静止的情况下，通过静态立体匹配方法预测得到的关键帧中像素的逆深度值；α、β和γ是针对当前深度预测模块的超参数。

29、本发明还公开了一种面向配电网无人机的三维重建装置，包括：

30、视频获取模块，用于获取无人机从配电网环境采集到的视频序列；

31、成本量生成模块，用于根据视频序列生成成本量；

32、掩膜生成模块，用于根据成本量预测运动物体的掩膜；

33、深度估计模块，用于根据成本量和掩膜来获取深度估计结果；

34、三维重建模块，用于根据深度估计结果和无人机姿态参数，进行帧间映射并生成点云，以实现三维重建。

35、本发明进一步公开了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器运行时执行如上所述方法的步骤。

36、本发明还公开了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在被处理器运行时执行如上所述方法的步骤。

37、本发明进一步公开了一种面向配电网无人机的三维重建系统，包括相互连接的存储器和处理器，所述存储器上存储有计算机程序，所述计算机程序在被处理器运行时执行如上所述方法的步骤。

38、与现有技术相比，本发明的优点在于：

39、本发明通过获取无人机上的相机从配电网环境采集到的视频序列；根据视频序列生成成本量；再根据成本量预测运动物体的掩膜；进一步根据成本量和掩膜来获取深度估计结果；最后根据深度估计结果和无人机姿态参数，进行帧间映射并生成点云，以实现三维重建。在上述方法中，成本量提供了关于场景中不同深度的几何信息；掩膜则帮助定位运动物体的位置，从而有助于更准确地进行后续的深度估计；通过结合成本量和掩膜，能够解析场景中运动物体的深度，形成深度图；再将深度图和姿态参数(姿态参数描述了相机在空间中的位置和朝向)相结合，推断出在每个像素点上的实际三维坐标，有效地还原其在三维空间中的位置，生成对应的点云，进而实现配电网环境的高质量三维重建，重建精度高。

技术特征：

1.一种面向配电网无人机的三维重建方法，其特征在于，包括步骤：

2.根据权利要求1所述的面向配电网无人机的三维重建方法，其特征在于，根据视频序列在先验深度条件下生成成本量c(d)：

3.根据权利要求1或2所述的面向配电网无人机的三维重建方法，其特征在于，构建三维重建深度学习模型并进行训练，以得到最终的三维重建深度学习模型；

4.根据权利要求3所述的面向配电网无人机的三维重建方法，其特征在于，对三维重建深度学习模型进行半监督多阶段训练，包括依次执行的引导阶段、掩膜预测模块细化阶段和深度预测模块细化阶段。

5.根据权利要求4所述的面向配电网无人机的三维重建方法，其特征在于，引导阶段包括深度预测模块引导阶段和掩膜预测模块引导阶段；其中深度预测模块depthmodule和掩膜预测模块maskmodule是分开训练的；

6.根据权利要求4所述的面向配电网无人机的三维重建方法，其特征在于，掩膜预测模块细化训练过程中，通过如下方法细化训练目标：

7.一种面向配电网无人机的三维重建装置，其特征在于，包括：

8.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器运行时执行如权利要求1-6中任意一项所述方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序在被处理器运行时执行如权利要求1-6中任意一项所述方法的步骤。

10.一种面向配电网无人机的三维重建系统，包括相互连接的存储器和处理器，所述存储器上存储有计算机程序，其特征在于，所述计算机程序在被处理器运行时执行如权利要求1-6中任意一项所述方法的步骤。

技术总结本发明公开了一种面向配电网无人机的三维重建方法、介质及系统，方法包括步骤：获取无人机从配电网环境采集到的视频序列；根据视频序列生成成本量；根据成本量预测运动物体的掩膜；根据成本量和掩膜来获取深度估计结果；根据深度估计结果和无人机姿态参数，进行帧间映射并生成点云，以实现三维重建。本发明针对无人机录制的配电网环境视频序列，使用自监督多阶段训练的深度学习技术，实现对配电网环境的三维重建，重建精度高。技术研发人员：彭双剑,肖剑,张可人,吴晟,黄志鸿,左沅君,徐先勇,刘帅,陈骏星溆,孙云龙,单楚栋,陈卓,龙彦伯,张文静受保护的技术使用者：国网湖南省电力有限公司技术研发日：技术公布日：2024/9/2