一种路面几何结构的三维重建方法及装置与流程

本发明涉及计算机图形，尤其涉及的是一种路面几何结构的三维重建方法及装置。

背景技术：

1、在计算机图形学领域，三维重建是指根据传感器数据(例如，图像、激光雷达等)，恢复周围环境的三维结构和色彩。高质量的三维重建结果可以用于自动驾驶仿真、4d标注等领域，从而促进自动驾驶技术的进步。

2、如何表示周围环境的三维结构和色彩则一直是三维重建过程中的核心问题；在现有的三维重建技术中，对于结构而言，常见的表示方式有体素(voxel)、点云(pointcloud)、网格(mesh)。体素表示方法有一个严重的缺点是：占用的内存会随着分辨率的增加而呈立方的增加，因此，不适用大场景、高分辨率的物体表示。点云表示方法缺点在于，点云是离散的，缺少点与点之间的连接关系，且不好表示色彩。因此，常用的三维结构的表征方式为网格，它占用内存小，且利于表达色彩。

3、三维重建的任务，实际就是确定一个网格中每个三角形顶点的三维坐标和它对应的颜色；现有的三维重建方法，核心思想是使得网格渲染的图像和真实图像尽可能一致，来得到一个和真实的三维世界相同的网格；然而，仅仅通过相同视角下图像的一致性来约束网格的几何，往往得到较差的结果，导致重建后的图像质量较低。

4、因此，现有技术还有待改进。

技术实现思路

1、本发明要解决的技术问题在于，针对现有技术缺陷，本发明提供一种路面几何结构的三维重建方法及装置，以解决现有的三维重建方法重建后的图像质量低的问题。

2、本发明解决技术问题所采用的技术方案如下：

3、第一方面，本发明提供路面几何结构的三维重建方法，包括：

4、获取路面图像和路面激光点云，并对所述路面图像拟合得到平面进行网格初始化；

5、根据所述路面激光点云对路面高度进行初始化，将路面激光点的平均高度赋值于对应的网格节点；

6、根据所述路面图像对应的相机位姿对赋值后的网格节点进行渲染，得到渲染图像和法向量图像；

7、分别将所述渲染图像和所述法向量图像与对应的真实图像进行对比，计算得到对应的损失，并根据计算得到的损失进行反向传播，更新网格的位置和颜色，得到重建后的网格。

8、在一种实现方式中，所述获取路面图像和路面激光点云，包括：

9、采集车辆在行驶过程中的多张路面图像以及对应的路面激光点云；

10、获取每张路面图像在拍摄时对应的相机位姿；

11、采用分割模型分割得到每张路面图像的地面区域和路面区域，并采用法向量预测模型预测得到每张路面图像对应的法向量真值图像；其中，所述地面区域包括：所述路面区域和地面上的非路面区域。

12、在一种实现方式中，所述对所述路面图像拟合得到平面进行网格初始化，包括：

13、根据每张路面图像在拍摄时的三维位置，拟合得到所述平面；

14、将所述平面中每个网格的节点颜色初始化为任意值。

15、在一种实现方式中，所述根据所述路面激光点云对路面高度进行初始化，将路面激光点的平均高度赋值于对应的网格节点，包括：

16、采用点云分割算法对所述路面激光点云中的路面点进行提取，得到所有的路面激光点；

17、根据最近邻查找算法查找网格中每个节点距离最近的一组路面激光点；

18、计算查找到的一组路面激光点的平均高度值，并将所述平均高度值赋值到对应的网格节点。

19、在一种实现方式中，所述根据所述路面图像对应的相机位姿对赋值后的网格节点进行渲染，得到渲染图像和法向量图像，包括：

20、对于任意一张路面图像对应的相机位姿，采用相同位姿的方式在渲染器中对所述赋值后的网格节点进行渲染，得到所述渲染图像和所述法向量图像。

21、在一种实现方式中，所述分别将所述渲染图像和所述法向量图像与对应的真实图像进行对比，计算得到对应的损失，包括：

22、将所述渲染图像与对应的路面图像进行对比，计算得到地面区域的损失；

23、将所述法向量图像与对应的法向量真值图像进行对比，计算得到所述地面区域中非路面区域的损失；

24、根据所述地面区域的损失和所述地面区域中非路面区域的损失，计算得到重建总损失。

25、在一种实现方式中，所述根据计算得到的损失进行反向传播，更新网格的位置和颜色，包括：

26、根据所述重建总损失进行反向传播，更新网格的位置和颜色；

27、对所有路面图像重复进行图像渲染、重建总损失计算以及反向传播的操作，直至所述重建总损失满足条件。

28、第二方面，本发明提供一种路面几何结构的三维重建装置，包括：

29、网格初始化模块，用于获取路面图像和路面激光点云，并对所述路面图像拟合得到平面进行网格初始化；

30、路面高度初始化模块，用于根据所述路面激光点云对路面高度进行初始化，将路面激光点的平均高度赋值于对应的网格节点；

31、渲染模块，用于根据所述路面图像对应的相机位姿对赋值后的网格节点进行渲染，得到渲染图像和法向量图像；

32、重建优化模块，用于分别将所述渲染图像和所述法向量图像与对应的真实图像进行对比，计算得到对应的损失，并根据计算得到的损失进行反向传播，更新网格的位置和颜色，得到重建后的网格。

33、第三方面，本发明提供一种终端，包括：处理器以及存储器，所述存储器存储有路面几何结构的三维重建程序，所述路面几何结构的三维重建程序被所述处理器执行时用于实现如第一方面所述的路面几何结构的三维重建方法的操作。

34、第四方面，本发明还提供一种介质，所述介质为计算机可读存储介质，所述介质存储有路面几何结构的三维重建程序，所述路面几何结构的三维重建程序被处理器执行时用于实现如第一方面所述的路面几何结构的三维重建方法的操作。

35、本发明采用上述技术方案具有以下效果：

36、本发明通过对网格初始化，以及根据路面激光点云对路面高度进行初始化，可根据路面图像对应的相机位姿对赋值后的网格节点进行渲染，并根据渲染图像和法向量图像分别计算对应的损失，利用计算得到的损失进行反向传播，从而更新网格的位置和颜色，得到重建后的路面网格。本发明利用激光雷达点云初始化网格形状，利用法向量约束提升网格的几何精度，提高了三维重建的图像质量。

技术特征：

1.一种路面几何结构的三维重建方法，其特征在于，包括：

2.根据权利要求1所述的路面几何结构的三维重建方法，其特征在于，所述获取路面图像和路面激光点云，包括：

3.根据权利要求1所述的路面几何结构的三维重建方法，其特征在于，所述对所述路面图像拟合得到平面进行网格初始化，包括：

4.根据权利要求1所述的路面几何结构的三维重建方法，其特征在于，所述根据所述路面激光点云对路面高度进行初始化，将路面激光点的平均高度赋值于对应的网格节点，包括：

5.根据权利要求1所述的路面几何结构的三维重建方法，其特征在于，所述根据所述路面图像对应的相机位姿对赋值后的网格节点进行渲染，得到渲染图像和法向量图像，包括：

6.根据权利要求1所述的路面几何结构的三维重建方法，其特征在于，所述分别将所述渲染图像和所述法向量图像与对应的真实图像进行对比，计算得到对应的损失，包括：

7.根据权利要求6所述的路面几何结构的三维重建方法，其特征在于，所述根据计算得到的损失进行反向传播，更新网格的位置和颜色，包括：

8.一种路面几何结构的三维重建装置，其特征在于，包括：

9.一种终端，其特征在于，包括：处理器以及存储器，所述存储器存储有路面几何结构的三维重建程序，所述路面几何结构的三维重建程序被所述处理器执行时用于实现如权利要求1-7中任意一项所述的路面几何结构的三维重建方法的操作。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有路面几何结构的三维重建程序，所述路面几何结构的三维重建程序被处理器执行时用于实现如权利要求1-7中任意一项所述的路面几何结构的三维重建方法的操作。

技术总结本发明公开了一种路面几何结构的三维重建方法及装置，包括：获取路面图像和路面激光点云，并对所述路面图像拟合得到平面进行网格初始化；根据所述路面激光点云对路面高度进行初始化，将路面激光点的平均高度赋值于对应的网格节点；根据所述路面图像对应的相机位姿对赋值后的网格节点进行渲染，得到渲染图像和法向量图像；分别将所述渲染图像和所述法向量图像与对应的真实图像进行对比，计算得到对应的损失，并根据计算得到的损失进行反向传播，更新网格的位置和颜色，得到重建后的网格。本发明利用激光雷达点云初始化网格形状，利用法向量约束提升网格的几何精度，提高了三维重建的图像质量。技术研发人员：李聪聪,吴伟,邹晓艺,曹通易受保护的技术使用者：深圳元戎启行科技有限公司技术研发日：技术公布日：2024/9/2