基于最优残差筛选的彩色点云地图构建方法及装置

本发明涉及三维彩色点云构建领域，尤其涉及一种基于最优残差筛选的彩色点云地图构建方法及装置。

背景技术：

1、传统的三维彩色点云构建技术通常要求对激光雷达和可见光相机进行精确的外参数标定和严格的硬件时间同步，这极大的制约了彩色点云地图的精度以及方法的实用性。传统方法依赖于可见光相机在世界坐标系下的精确位姿，以直接对点云进行着色，或者搭建激光雷达、可见光相机、惯性测量单元融合的位姿估计系统。其缺点在于对外参标定以及时间同步的强依赖性。而且随着系统运动，外参数可能发生变化，从而降低建图和着色的准确性。

技术实现思路

1、为了克服点云着色过程对外参数标定和时间同步的依赖性，提升彩色点云地图构建的精度，本发明提出了一种基于最优残差筛选的彩色点云地图构建方法及装置。该方法通过提取与匹配可见光相机获取的二维特征以及激光雷达获取的三维特征，然后将二者进行匹配获取残差，并评估残差对位姿优化的贡献度，筛选得到最优残差集合参与优化。该方法可以提升可见光相机的位姿估计精度，进而提升彩色点云地图构建的准确度。

2、本发明的目的是通过以下技术方案来实现的：一种基于最优残差筛选的彩色点云地图构建方法，该方法包括以下步骤：

3、(1)由激光雷达和可见光相机刚性连接组成数据采集系统，所述系统具备激光雷达和可见光相机的外参数初值；

4、(2)采用激光雷达的同时定位与建图算法构建三维点云地图，获取数据采集系统的运动轨迹，包括数据采集过程的位姿序列以及每个位姿所对应的时间；

5、(3)通过数据采集系统的运动轨迹和外参数初值，计算得到可见光相机的位姿初值；

6、(4)提取并匹配三维混合边缘特征和二维图像边缘特征形成残差，具体为：

7、根据可见光相机的位姿初值和可见光相机内参数矩阵，获得与三维点云相对应的反射强度图像和深度图像，对两幅图像进行边缘特征提取，得到三维点云的深度和反射强度的三维混合边缘特征；

8、对可见光相机拍摄的二维图像进行边缘特征提取，得到二维图像边缘特征；

9、对三维混合边缘特征和二维图像边缘特征进行跨模态匹配，构建残差；

10、(5)参考残差相对于可见光相机位姿的雅可比矩阵，设计残差对相机位姿优化的贡献度，并将残差按照贡献度逐个添加到三维平移贡献度空间和三维旋转贡献度空间当中，分别选取两空间中的凸包顶点形成凸包顶点子集，不重复地合并两凸包顶点子集得到最优残差子集；

11、(6)在可见光相机位姿优化阶段，仅考虑对最优残差子集中的残差进行非线性优化，以获得更为精确的可见光相机位姿，提升彩色点云地图构建精度。

12、进一步地，所述可见光相机的位姿初值通过插值计算，具体为：找到数据采集系统的运动轨迹中最接近图像拍摄时刻tc的两个位姿ts和te，两者对应的时间分别为ts和te，需要满足ts≤tc≤te，则可见光相机在tc时刻的位姿初值tc为，

13、

14、进一步地，所述三维混合边缘特征的获取，具体为：

15、将三维点云的强度信息，通过直方图均衡算法进行数据均衡，获取相对强度信息；将三维点云根据可见光相机的位姿初值和可见光相机内参数矩阵投影到二维平面上，对所得图像通过高斯均衡进行去噪，并通过近邻像素插值法填充空白像素，获得平滑的反射强度图像；

16、将三维点云按照可见光相机的位姿初值变换到图像坐标系下，提取其深度信息；通过直方图均衡算法进行数据均衡，获取相对深度信息；将三维点云根据可见光相机内参数矩阵投影到二维平面上，对所得图像通过高斯均衡进行去噪，并通过近邻像素插值法填充空白像素，获得平滑的深度图像；

17、采用canny算子对得到的反射强度图像和深度图像进行处理，提取出其中的边缘特征，再对边缘特征进行毛边去噪处理，分别得到两幅图像对应的二值化边缘轮廓图像，然后按像素进行逻辑或运算，形成三维点云的深度和反射强度的三维混合边缘特征。

18、进一步地，所述二维图像边缘特征的获取，具体为：采用canny算子检测在可见光相机拍摄的二维图像当中的边缘特征，再对边缘特征进行毛边去噪处理，获得清晰的二维图像边缘特征。

19、进一步地，所述对三维混合边缘特征和二维图像边缘特征进行跨模态匹配，具体为：

20、采用最近邻搜索算法，首先将二维图像边缘特征按照像素值保存在k-d树中，再遍历三维混合边缘特征，搜索其在k-d树中的k近邻，假设q＝{qi；i＝1,2,..k}是二维图像边缘近邻点组成的集合，计算：

21、

22、

23、其中，为对应二维图像边缘特征的均值位置，s为对应二维图像边缘特征的协方差矩阵。

24、进一步地，所述构建残差具体为：

25、对于三维混合边缘特征中的一个点[xiyizi]t和与其匹配的二维图像边缘特征点[uivi]t，得到其所形成的残差[δuiδvi]t为，

26、

27、其中，k为相机的内参数矩阵，[xi′yi′zi′]t为点[xiyizi]t在相机坐标系下的对应坐标，

28、进一步地，所述残差的贡献度φi计算公式如下：

29、

30、其中，fx和fy为相机焦距。

31、进一步地，所述最优残差子集的获取具体为：

32、将残差的贡献度φi解耦为平移贡献度以及旋转贡献度

33、

34、

35、基于和分别构建三维平移贡献度空间以及三维旋转贡献度空间，并将残差按照贡献度逐个添加到两个空间当中，分别形成点集和

36、选择点集和中的点，确保选择的若干点能够包围对应点集中的所有剩余点，进而形成凸包顶点子集和通过不重复地合并两凸包顶点子集得到最优残差子集

37、本发明还提供一种基于最优残差筛选的彩色点云地图构建装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，其特征在于，所述处理器执行所述可执行代码时，用于实现上述的基于最优残差筛选的彩色点云地图构建方法。

38、本发明还提供一种计算机可读存储介质，其上存储有程序，其特征在于，该程序被处理器执行时，用于实现上述的基于最优残差筛选的彩色点云地图构建方法。

39、本发明的有益效果是：通过跨模态匹配三维混合边缘特征和二维图像边缘特征，并评估所构建的残差对位姿优化的贡献度，筛选得到最优残差集合参与优化，能够克服三维彩色点云构建过程中对激光雷达和可见光相机外参数标定和硬件时间同步的依赖，进而提升建图和着色的精度。另外，在可见光相机位姿优化过程中引入残差筛选，还可以在保证算法实时性的同时，有效提升可见光相机位姿估计精度，进而提升彩色点云地图构建的准确性。

技术特征：

1.一种基于最优残差筛选的彩色点云地图构建方法，其特征在于，包括：

2.根据权利要求1所述的基于最优残差筛选的彩色点云地图构建方法，其特征在于，所述可见光相机的位姿初值通过插值计算，具体为：找到数据采集系统的运动轨迹中最接近图像拍摄时刻tc的两个位姿ts和te，两者对应的时间分别为ts和te，需要满足ts≤tc≤te，则可见光相机在tc时刻的位姿初值tc为，

3.根据权利要求1所述的基于最优残差筛选的彩色点云地图构建方法，其特征在于，所述三维混合边缘特征的获取，具体为：

4.根据权利要求1所述的基于最优残差筛选的彩色点云地图构建方法，其特征在于，所述二维图像边缘特征的获取，具体为：采用canny算子检测在可见光相机拍摄的二维图像当中的边缘特征，再对边缘特征进行毛边去噪处理，获得清晰的二维图像边缘特征。

5.根据权利要求1所述的基于最优残差筛选的彩色点云地图构建方法，其特征在于，所述对三维混合边缘特征和二维图像边缘特征进行跨模态匹配，具体为：

6.根据权利要求1所述的基于最优残差筛选的彩色点云地图构建方法，其特征在于，所述构建残差具体为：

7.根据权利要求6所述的基于最优残差筛选的彩色点云地图构建方法，其特征在于，所述残差的贡献度φi计算公式如下：

8.根据权利要求7所述的基于最优残差筛选的彩色点云地图构建方法，其特征在于，所述最优残差子集的获取具体为：

9.一种基于最优残差筛选的彩色点云地图构建装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，其特征在于，所述处理器执行所述可执行代码时，用于实现如权利要求1-8中任一项所述的基于最优残差筛选的彩色点云地图构建方法。

10.一种计算机可读存储介质，其上存储有程序，其特征在于，该程序被处理器执行时，用于实现如权利要求1-8中任一项所述的基于最优残差筛选的彩色点云地图构建方法。

技术总结本发明公开了一种基于最优残差筛选的彩色点云地图构建方法及装置，通过提取与跨模态匹配三维混合边缘特征和二维图像边缘特征，并对两者形成的残差进行评估和筛选，以形成最佳残差集合参与优化，能够克服三维彩色点云地图构建过程中对激光雷达和可见光相机外参数标定和硬件时间同步的依赖，进而提升彩色点云地图构建的准确性，以及方法的实用性。技术研发人员：张宇,蒋昌健,万泽宇受保护的技术使用者：浙江大学技术研发日：技术公布日：2024/9/2