一种基于激光与视觉融合的高空大范围真实场景重建方法

本申请涉及三维重建，尤其涉及一种基于激光与视觉融合的高空大范围真实场景重建方法。

背景技术：

1、数字城市作为数字中国建设的先行实践，一直以来为全市场关注的焦点，大范围场景三维重建是数字城市建设的关键技术之一，通过高度逼真的三维重建，为城市发展规划、智慧交通、应急救援等领域提供创新解决方案。基于多源信息紧耦合slam(simultaneous localization and mapping，同时定位与建图)的大场景三维重建技术研究，对于指导多尺度多层次的城市重构，加快数字智慧城市建设具有重要意义。

2、三维重建最初的起源与视觉有着密切的联系，基于视图几何模型的三维重建是一种通过多个视角的图像或视频数据来还原三维场景的技术。它基于图像的几何关系和特征，将不同视角的图像或视频数据进行匹配和分析，从而恢复出场景的三维结构，因其输入形式的特殊性使得更具挑战性，仅以单视角图像作为输入使得重建丢失了很多几何信息。基于无人机采集的序列图像实现采集区域的地形三维重建能够快速生成该区域的三维地形模型，由于该模型为离散点云模型，存在计算性差、噪声大、稀疏、分布不均等问题，不利于后续的地形分析和仿真。

3、随着传感器、电子、光学及计算机等学科领域研究的不断推进，大量新技术的提出为大范围高时、空间分辨率数据的获取与高速处理提供了强有力的支持。激光雷达是一种非接触主动式的对地观测技术，自动化程度较高，且受天气的影响小，数据的精度高。由于激光雷达的点云稀疏性，纹理信息缺乏等固有特性，常常采用多源数据融合进行三维重建，但其面临不同数据源之间信息不一致的问题。

4、如何构建一个实时、精准、鲁棒的三维重建系统，从而快速的重建大范围真实场景是亟需解决的问题。

技术实现思路

1、本申请提供了一种基于激光与视觉融合的高空大范围真实场景重建方法，其技术目的是提高重建大范围场景的鲁棒性和实时性，以能够在短周期内重建高质量的三维地图。

2、本申请的上述技术目的是通过以下技术方案得以实现的：

3、一种基于激光与视觉融合的高空大范围真实场景重建方法，包括：

4、步骤s1：通过可见光相机获取可见光图像，对可见光图片进行数据增强，对数据增强后可见光图片的视觉特征进行提取，得到特征灰度图；

5、步骤s2：通过激光雷达获取原始点云pj，使用恒速模型对原始点云pj的预测位姿tpre,t进行计算，根据预测位姿tpre,t对原始点云pj中的点云畸变进行去除，得到去畸变的点云

6、步骤s3：将特征灰度图投影到点云上生成包含视觉特征的彩色点云；

7、步骤s4：使用自适应注意力下采样对彩色点云进行下采样，对彩色点云进行第一次下采样得到局部点云地图，对彩色点云进行第二次下采样得到骨干点云；

8、步骤s5：根据恒速模型偏移误差和点云空间分布特性对迭代优化参数进行初始化；其中，迭代优化参数包括搜寻距离和置信权重；所述点云空间分布特性包括彩色点云的空间因子；

9、步骤s6：根据搜寻距离骨干点云中的骨干点在局部点云地图中搜寻其最近邻点，根据骨干点及其最近邻点使用自适应双重迭代优化方法进行迭代优化，以对当前帧的稳健位姿进行估计；

10、步骤s7：将数据增强后的可见光图片投影到去畸变的点云生成辐射点云，根据辐射点云和连续的稳健位姿对真实场景的3d地图进行构建。

11、本申请的有益效果在于：本申请所述的基于激光与视觉融合的高空大范围真实场景重建方法，利用激光雷达和可见光相机的互补特性实时重建场景；利用可见光相机获取真实场景的纹理信息和视觉特征；利用激光雷达获取场景的空间结构信息；利用自适应注意力下采样获得稳定的骨干点；利用具有特征约束的自适应双重迭代优化方法估计稳健位姿。

12、该方法在满足实时性的要求下，能够根据激光雷达的空间信息和可见光相机的纹理信息，获得稳健的位姿和高质量的真实场景重建地图，在机器人领域、三维重建领域有较好的应用前景。实验证明，本申请所提出的系统计算量低，鲁棒性强，能够重建高质量的三维地图。

技术特征：

1.一种基于激光与视觉融合的高空大范围真实场景重建方法，其特征在于，包括：

2.如权利要求1所述的高空大范围真实场景重建方法，其特征在于，步骤s1中，所述对可见光图片进行数据增强包括曝光修正和纹理增强。

3.如权利要求2所述的高空大范围真实场景重建方法，其特征在于，步骤s1中，对数据增强后可见光图片的视觉特征进行提取，所述视觉特征包括点特征和线特征；

4.如权利要求3所述的高空大范围真实场景重建方法，其特征在于，步骤s2包括：

5.如权利要求4所述的高空大范围真实场景重建方法，其特征在于，步骤s3中，将特征灰度图投影到点云上的投影公式表示为：

6.如权利要求5所述的高空大范围真实场景重建方法，其特征在于，步骤s4中，自适应注意力下采样的体素尺寸的获取过程包括：

7.如权利要求6所述的高空大范围真实场景重建方法，其特征在于，步骤s4中，所述局部点云地图mlocal通过体素块存储点云，每个体素块包括5个参数，表示为：

8.如权利要求7所述的高空大范围真实场景重建方法，其特征在于，步骤s5包括：

9.如权利要求8所述的高空大范围真实场景重建方法，其特征在于，步骤s6包括：

技术总结本发明公开了一种基于激光与视觉融合的高空大范围真实场景重建方法，涉及三维重建技术领域，解决了重建大范围场景容易失效且重建周期长的技术问题，其技术方案要点利用激光雷达和可见光相机的互补特性实时重建场景；利用可见光相机获取真实场景的纹理信息和视觉特征；利用激光雷达获取场景的空间结构信息；利用自适应注意力下采样获得稳定的骨干点；利用具有特征约束的自适应迭代优化方法估计稳健位姿。该算法在满足实时性的要求下，具有较高的准确性和鲁棒性，在机器人、三维重建领域有较好的应用前景。技术研发人员：耿可可,成小龙,殷国栋,柳智超,马天笑,王子威受保护的技术使用者：东南大学技术研发日：技术公布日：2024/9/17