一种基于高精度定位的RGB-D点云地图生成方法及装置与流程

本发明属于计算机视觉，具体涉及一种基于高精度定位的rgb-d点云地图生成方法及装置。

背景技术：

1、在自动驾驶中，高精度地图(hd)可以提供更全面和准确的路况和环境信息，帮助自动驾驶车辆做出更可靠和准确的驾驶决策。传统的高精地图制作依赖点云强度信息，点云的强度受到目标物材质、特性、扫描角度和设备等影响，rgb相比强度可以提供更丰富的纹理色彩信息，更容易人眼识别。另外随着“轻地图、重感知”等技术的发展，道路元素在线感知、行人车辆、异形障碍物识别等需要大量的rgb-d真值数据，有了rgb、反射率等辅助信息，4d标注的识别的效率和精确度会大大提升。

2、rgb-d点云地图首先是在建立高精度点云地图过程中，不断通过相机获取图像，对点云进行渲染，从而得到rgb-d点云地图，得到的点云地图能够用于地图元素(如车道线、人形横道等元素)标注、环境的三维重建等。

3、现有的技术生成rgb-d点云地图过程中，在构建大范围、复杂场景下时，通常使用lio(激光雷达和imu紧耦合)里程计。

4、申请人在运营过程中发现，在使用现有技术生成rgb-d点云地图时，lio(激光雷达和imu紧耦合)里程计存在累计误差，存在地图重影或者地图漂移的现象，且激光雷达与相机时间同步精度低，外参标定精度低，导致存在上色效果错位的问题。

技术实现思路

1、本发明的目的是要解决上述的技术问题，提供一种基于高精度定位的rgb-d点云地图生成方法及装置。

2、为了解决上述问题，本发明按以下技术方案予以实现的：

3、根据本发明的一方面，提供了一种基于高精度定位的rgb-d点云地图生成方法，包括：

4、获取点云、图像和定位模块输出的系统状态，所述系统状态包括高精度定位位姿、相机内参、相机雷达外参与相机雷达的时间差；

5、根据所述点云与所述高精度定位位姿，进行点云拼接，构建得到点云地图；

6、将所述点云地图中的未被上色的点云投影至所述图像上，得到图像特征点；

7、使用lucas-kanade光流法跟踪所述图像特征点，并使用esikf滤波优化重投影误差和光度误差，得到优化的系统状态；

8、根据所述优化的系统状态，通过贝叶斯概率公式计算所述点云对应的精细的rgb值，进行点云上色；

9、确定点云上色完成后，得到rgb-d点云地图。

10、根据本发明的另一方面，提供一种基于高精度定位的rgb-d点云地图生成装置，所述装置包括组合惯导、激光雷达、rgb工业相机、轮速计、交换机和工控机，所述工控机被配置为执行如下操作：

11、获取点云、图像和定位模块输出的系统状态，所述系统状态包括高精度定位位姿、相机内参、相机雷达外参与相机雷达的时间差；

12、根据所述点云与所述高精度定位位姿，进行点云拼接，构建得到点云地图；

13、将所述点云地图中的未被上色的点云投影至所述图像上，得到图像特征点；

14、使用lucas-kanade光流法跟踪所述图像特征点，并使用esikf滤波优化重投影误差和光度误差，得到优化的系统状态；

15、根据所述优化的系统状态，通过贝叶斯概率公式计算所述点云对应的精细的rgb值，进行点云上色；

16、确定点云上色完成后，得到rgb-d点云地图。

17、根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

18、至少一个处理器；以及

19、与所述至少一个处理器通信连接的存储器；其中，

20、所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明实施例所述的基于高精度定位的rgb-d点云地图生成方法。

21、根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序用于使处理器执行时实现本发明实施例所述的基于高精度定位的rgb-d点云地图生成方法。

22、本发明实施例中，首先通过获取点云、图像和定位模块输出的系统状态，系统状态包括高精度定位位姿、相机内参、相机雷达外参与相机雷达的时间差；根据点云与高精度定位位姿，进行点云拼接，构建得到点云地图；将点云地图中的未被上色的点云投影至图像上，得到图像特征点；使用lucas-kanade光流法跟踪图像特征点，并使用esikf滤波优化重投影误差和光度误差，得到优化的系统状态；根据优化的系统状态，通过贝叶斯概率公式计算点云对应的精细的rgb值，进行点云上色；确定点云上色完成后，得到rgb-d点云地图。本申请相比现有技术来说，基于高精度的组合惯导、工业相机和高精度的激光雷达等设备有效提高了传感器之间的时间同步精度；基于高精度的多传感器融合定位，有效的降低了点云地图重影；基于贝叶斯概率有效降低了上色错位的现象，能够大范围及复杂场景下对环境进行三维重建生成rgb-d点云地图。

23、应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种基于高精度定位的rgb-d点云地图生成方法，其特征在于，包括：

2.根据权利要求1所述一种基于高精度定位的rgb-d点云地图生成方法，其特征在于，所述定位模块具体包括：

3.根据权利要求2所述一种基于高精度定位的rgb-d点云地图生成方法，其特征在于，所述根据所述点云与所述高精度定位位姿，先进行运动补偿，然后进行点云拼接，构建得到点云地图。

4.根据权利要求3所述一种基于高精度定位的rgb-d点云地图生成方法，其特征在于，所述将所述点云地图中的未被上色的点云投影至所述图像上，得到图像特征点，具体包括：

5.根据权利要求4所述一种基于高精度定位的rgb-d点云地图生成方法，其特征在于，所述使用esikf滤波优化重投影误差和光度误差，包括：

6.根据权利要求5所述一种基于高精度定位的rgb-d点云地图生成方法，其特征在于，所述根据所述优化的系统状态，通过贝叶斯概率公式计算所述点云对应的精细的rgb值，进行点云上色，包括：

7.一种基于高精度定位的rgb-d点云地图生成装置，其特征在于，所述装置包括组合惯导、激光雷达、rgb工业相机、轮速计、交换机和工控机，所述工控机被配置为执行如下操作：

8.一种电子设备，其特征在于，所述电子设备包括：

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序用于使处理器执行时实现权利要求1-6中任一项所述的基于高精度定位的rgb-d点云地图生成方法。

技术总结本发明公开了一种基于高精度定位的RGB‑D点云地图生成方法及装置。通过获取点云、图像和定位模块输出的系统状态，系统状态包括高精度定位位姿、相机内参、相机雷达外参与相机雷达的时间差；根据点云与高精度定位位姿，先进行运动补偿，然后进行点云拼接，构建得到点云地图；将点云地图中的未被上色的点云投影至图像上，得到图像特征点；使用Lucas‑Kanade光流法跟踪图像特征点，并使用ESIKF滤波优化重投影误差和光度误差，得到优化的系统状态；根据优化的系统状态，通过贝叶斯概率公式计算点云对应的精细的RGB值，进行点云上色；确定点云上色完成后，得到RGB‑D点云地图。本申请能够大范围及复杂场景下对环境进行三维重建生成RGB‑D点云地图。技术研发人员：彭博,周勋,宋德强,张溢炉,杨晓钧,涂鹏受保护的技术使用者：广州祺宸科技有限公司技术研发日：技术公布日：2024/9/29