一种海上风电水下多传感器点云数据融合方法和系统与流程

本发明属于点云数据处理，具体涉及一种海上风电水下多传感器点云数据融合方法和系统。

背景技术：

1、点云数据是通过三维传感器捕获空间中物体的集合，它通过在三维坐标系中使用一组点来表示物体的外部表面。近年来，由于其在三维建模和场景理解等方面的广泛应用，点云数据融合技术成为计算机视觉和机器人学领域的研究热点。点云数据融合是指将来自不同传感器、不同视角或不同时间的点云数据整合在一起，以获取更加完整和精确的三维模型。

2、目前，点云数据融合主要通过数据配准和数据融合两个步骤来实现。数据配准是指将不同源的点云数据对齐到同一坐标系下，而数据融合是指将对齐后的点云数据融合在一起，消除冗余和矛盾，提高数据的质量和一致性。现有的数据配准方法主要包括基于几何的方法和基于特征的方法。基于几何的方法依赖于点云数据的几何特征，如距离、角度和曲率等，而基于特征的方法依赖于点云数据的特征描述，如sift、surf和fpfh等。现有的数据融合方法主要包括基于投影的方法和基于模型的方法。基于投影的方法将点云数据投影到二维平面上进行融合，而基于模型的方法将点云数据转换为三维模型进行融合。

3、虽然现有的点云数据融合方法取得了一定的成功，但仍然存在一些技术问题。首先，现有的数据配准方法依赖于点云数据的准确性和完整性，而在海上风电的现场检测应用中，由于传感器的限制和环境的干扰，获取的点云数据常常是不准确和不完整的，这导致数据配准的效果不理想。其次，现有的数据融合方法没有充分考虑不同传感器的特性和不同数据源的差异，这导致数据融合的效果也不理想。此外，现有的点云数据融合方法通常需要大量的计算资源和时间，这限制了其在实时和在线应用中的可行性和实用性。因此，如何提高点云数据融合的准确性、效率和鲁棒性，成为当前研究的主要挑战和问题。

技术实现思路

1、本发明的目的在于克服上述现有技术的缺点，提供一种海上风电水下多传感器点云数据融合方法和系统，以解决现有技术中融合点云数据时，数据匹配不准确，未考虑不同传感器和数据源差异，以及融合效率低的问题。

2、为达到上述目的，本发明采用以下技术方案予以实现：

3、一种海上风电水下多传感器点云数据融合方法，包括以下步骤：

4、s1，多种类型传感器均采集数据，对每一个传感器采集的数据通过统计滤波消除数据噪声，通过学习方法在消除噪声后的数据中区分目标对象和背景；多种类型传感器之间通过时间戳同步数据；

5、s2，对每一种传感进行内部参数的标定和外参标定，获得标定后点云数据；

6、s3，通过配准算法对多个传感器的点云数据进行配准，通过深度学习对配准后的点云数据进一步对齐；确定每一个传感器的信噪比和覆盖范围，基于信噪比和覆盖范围获得每一个传感器的权重；基于对齐后的点云数据，以及每一个传感器的权重，对每一个传感器的点云数据进行加权融合，获得融合后的点云数据；

7、s4，通过生成模型和损失函数对融合后的点云数据进行数据增强与补全，获得完整的点云数据；

8、s5，基于完整的点云数据，通过表面重建获得3d网格模型，对3d网格模型简化和优化，获得最终的3d网格模型。

9、本发明的进一步改进在于：

10、优选的，s1中，所述多种类型传感器包括船载多波束测深声呐、水下机器人搭载的三维机械扫描声呐、三维实时成像声呐、水下激光成像仪和水下立体相机。

11、优选的，s1中，所述学习方法为深度学习、机器学习和迁移学习中的任意一种。

12、优选的，s3中，通过配准算法对多个传感器的点云数据进行配准的具体过程为，依次使用icp算法、sift特征和ransac算法进行对齐。

13、优选的，s3中，通过深度学习对配准后的点云数据进一步对齐的过程为：依次使用pointnet++网络和deepicp损失函数进行对齐。

14、优选的，每一个传感器的权重计算公式为：

15、w＝α×snr+β×coverage

16、其中，w为数据权重；α和β均为权重系数；snr为信噪比，coverage为覆盖范围，

17、优选的，s4中，所述生成模型为cyclegan，所述损失函数为wgan-gp；对融合后的点云数据进行数据增强与补全的过程为：

18、(1)通过cyclegan的生成器g和生成器f，学习从完整点云到缺失点云的映射，以及从缺失点云到完整点云的反向映射；

19、(2)采用wgan-gp作为判别器dx和dy的损失函数；

20、(3)基于损失函数，同时优化训练生成器g、生成器f、判别器dx和判别器dy；

21、(4)通过优化训练后的生成器g补全缺失的点云数据，通过生成器f对补全的点云数据进行增强，完成点云数据的增强与补全。

22、优选的，s5中，通过三角剖分的方法进行表面重建，重建过程中设置网格密度和平滑因子。

23、优选的，s5中，获得三维模型后，通过开源库pcl、开源库cgal、meshlab软件和cloudcompare软件对三维模型进行简化。

24、一种海上风电水下多传感器点云数据融合系统，包括：

25、预处理模块，还用多种类型传感器均采集数据，对每一个传感器采集的数据通过统计滤波消除数据噪声，通过学习方法在消除噪声后的数据中区分目标对象和背景；多种类型传感器之间通过时间戳同步数据；

26、标定模块，用于对每一种传感进行内部参数的标定和外参标定，获得标定后点云数据；

27、融合模块，用于通过配准算法对多个传感器的点云数据进行配准，通过深度学习对配准后的点云数据进一步对齐；确定每一个传感器的信噪比和覆盖范围，基于信噪比和覆盖范围获得每一个传感器的权重；基于对齐后的点云数据，以及每一个传感器的权重，对每一个传感器的点云数据进行加权融合，获得融合后的点云数据；

28、补全增强模块，用于通过生成模型和损失函数对融合后的点云数据进行数据增强与补全，获得完整的点云数据；

29、重建模块，用于基于完整的点云数据，通过表面重建获得3d网格模型，对3d网格模型简化和优化，获得最终的3d网格模型。

30、与现有技术相比，本发明具有以下有益效果：

31、本发明公开了一种海上风电水下多传感器点云数据融合方法，主要包括数据预处理、传感器标定、数据配准、动态权重分配、数据融合、数据增强与补全以及表面重建与模型优化等步骤。首先，采集多个传感器的点云数据，并进行预处理与标定。然后，使用icp算法、特征匹配和深度学习增强的配准算法实现精准的数据配准。此外，依据各传感器的信噪比和覆盖范围动态分配权重，实现有效的数据融合。进一步，通过生成模型进行点云数据的增强与补全，提升数据质量。最后，利用合适的表面重建算法生成精准的三维模型，并进行模型优化。该方法充分结合了多个传感器的优势，有效提升了点云数据融合的准确性和效率。

32、进一步的，本发明利用不同检测设备上搭载的多种传感器(船载多波束测深声呐、水下机器人搭载的三维机械扫描声呐、三维实时成像声呐、水下激光成像仪、水下立体相机等)收集点云数据，实现了多源数据的有效融合。通过综合不同类型传感器的优势，本方法能获取更丰富和更可靠的点云数据。

33、进一步的，采用了结合icp算法、特征匹配以及深度学习增强的配准算法的数据配准方法，有效提升了数据配准的精度和鲁棒性，确保了不同视点和不同传感器获取的点云数据能准确对齐。

34、进一步的，通过信噪比和覆盖范围为每个传感器动态分配权重，实现了针对不同场景和不同对象的灵活融合策略。该策略能根据每个传感器的性能和数据质量自适应地调整其在数据融合中的权重，从而优化数据融合的效果。

35、进一步的，使用生成模型对点云数据进行增强和补全，得到更完整和更真实的三维模型。该步骤可以有效地处理点云数据的不完整和稀疏问题，提高三维模型的质量和可用性。

36、进一步的，通过对算法进行优化和简化，本发明实现了较高的计算效率和实时性。这使得该方法可以在有限的硬件资源和时间条件下实现高质量的点云数据融合，适用于实际的工业和商业应用。