一种去除高光的路面三维重建方法及装置与流程

本发明涉及计算机图形，尤其涉及的是一种去除高光的路面三维重建方法及装置。

背景技术：

1、在计算机图形学领域，三维重建是指根据传感器数据(例如，图像、激光雷达等)，恢复周围环境的三维结构和色彩。高质量的三维重建结果可以用于自动驾驶仿真、4d标注等领域，从而促进自动驾驶技术的进步。

2、如何表示周围环境的三维结构和色彩则一直是三维重建过程中的核心问题；在现有的三维重建技术中，对于结构而言，常见的表示方式有体素(voxel)、点云(pointcloud)、网格(mesh)。体素表示方法有一个严重的缺点是：占用的内存会随着分辨率的增加而呈立方的增加，因此，不适用大场景、高分辨率的物体表示。点云表示方法缺点在于，点云是离散的，缺少点与点之间的连接关系，且不好表示色彩。因此，常用的三维结构的表征方式为网格，它占用内存小，且利于表达色彩。

3、网格即为一些三角形组成的曲面，如果确定了一个网格所有三角形的顶点和对应的连接关系，即为确定了一个网格的结构；对于网格的色彩表达，通常有两种方式：顶点插值和纹理贴图，两种方法都常用，且各有其优缺点，如前所述，网格由一些三角形组成，当给每一个三角形的顶点都赋予颜色，那么三角形内部的点的颜色就可以通过插值得到。例如，三角形中心点的颜色，就是三角形三个顶点颜色的平均值；三维重建的任务，实际就是确定一个网格中每个三角形顶点的三维坐标和它对应的颜色；常见的三维重建的任务核心思想是使得网格渲染的图像和真实图像尽可能一致，从而得到一个和真实的三维世界相同的网格。

4、然而，这种做法忽视了真实世界存在镜面反射(高光)现象。由于观察视角不同，在镜面反射现象的作用下，对于三维世界中的同一个点在图像上也出现了不同的颜色(即存在高光)。而现有方法约束网格节点的颜色要和两张图像中对应像素的颜色相同，这显然是不合理的。最终则会导致网格上面的颜色和真实世界存在偏差，影响三维重建的质量。

5、因此，现有技术还有待改进。

技术实现思路

1、本发明要解决的技术问题在于，针对现有技术缺陷，本发明提供一种去除高光的路面三维重建方法及装置，以解决现有的三维重建方法中因高光而导致三维重建的质量低的问题。

2、本发明解决技术问题所采用的技术方案如下：

3、第一方面，本发明提供去除高光的路面三维重建方法，包括：

4、获取路面图像，并对所述路面图像拟合得到的平面进行网格初始化；

5、根据相同相机位姿的方式对初始化后的网格节点进行渲染，得到渲染图像；

6、根据所述相同相机位姿的方式，利用神经网络光照模型输出对应的高光图像；

7、将所述渲染图像与对应的高光图像进行叠加，并根据叠加的图像与对应位姿的路面图像计算损失，根据计算得到的损失进行反向传播，更新网格的位置和颜色，得到重建后的路面图像。

8、在一种实现方式中，所述获取路面图像，并对所述路面图像拟合得到的平面进行网格初始化，包括：

9、采集车辆在行驶过程中的多张路面图像以及每张路面图像在拍摄时对应的相机位姿，并通过分割模型分割得到每张路面图像的路面区域；

10、根据每张路面图像在拍摄时的三维位置拟合得到所述平面，并将所述平面中每个网格的节点位置和节点颜色初始化为任意值。

11、在一种实现方式中，根据相同相机位姿的方式对初始化后的网格节点进行渲染，得到渲染图像，包括：

12、对于任意一张路面图像对应的相机位姿，采用相同位姿的方式在渲染器中对所述初始化后的网格节点进行渲染，得到所述渲染图像。

13、在一种实现方式中，根据所述相同相机位姿的方式，利用神经网络光照模型输出对应的高光图像，包括：

14、将与所述渲染图像相同的相机位姿输入一个神经网络光照模型，利用所述神经网络光照模型输出所述相机位姿下的高光图像。

15、在一种实现方式中，所述将所述渲染图像与对应的高光图像进行叠加，并根据叠加的图像与对应位姿的路面图像计算损失，包括：

16、将所述渲染图像与对应的高光图像进行叠加，并对所述叠加后的图像中的像素进行调整；

17、根据调整后的图像与对应位姿的路面图像计算得到路面区域的损失，并计算对应的高光图像的高光正则项损失；

18、将所述路面区域的损失与所述高光正则项损失进行加权求和得到重建总损失。

19、在一种实现方式中，所述将所述渲染图像与对应的高光图像进行叠加，并对所述叠加后的图像中的像素进行调整，包括：

20、将所述渲染图像与对应的高光图像进行叠加，获取所述叠加后的图像中各像素点的像素值；

21、判断各像素点的像素值是否大于预设值；

22、若当前像素点的像素值大于所述预设值，则将所述当前像素点的像素值调整为所述预设值。

23、在一种实现方式中，所述根据计算得到的损失进行反向传播，更新网格的位置和颜色，得到重建后的路面图像，包括：

24、根据所述重建总损失进行反向传播，更新网格的位置、颜色以及所述神经网络光照模型的可学习参数；

25、对所有路面图像重复进行图像渲染、高光图像输出、图像叠加、重建总损失计算以及反向传播的操作，直至所述重建总损失满足条件。

26、第二方面，本发明提供一种去除高光的路面三维重建装置，包括：

27、初始化模块，用于获取路面图像，并对所述路面图像拟合得到的平面进行网格初始化；

28、渲染模块，用于根据相同相机位姿的方式对初始化后的网格节点进行渲染，得到渲染图像；

29、高光模块，用于根据所述相同相机位姿的方式，利用神经网络光照模型输出对应的高光图像；

30、重建优化模块，用于将所述渲染图像与对应的高光图像进行叠加，并根据叠加的图像与对应位姿的路面图像计算损失，根据计算得到的损失进行反向传播，更新网格的位置和颜色，得到重建后的路面图像。

31、第三方面，本发明提供一种终端，包括：处理器以及存储器，所述存储器存储有去除高光的路面三维重建程序，所述去除高光的路面三维重建程序被所述处理器执行时用于实现如第一方面所述的去除高光的路面三维重建方法的操作。

32、第四方面，本发明还提供一种介质，所述介质为计算机可读存储介质，所述介质存储有去除高光的路面三维重建程序，所述去除高光的路面三维重建程序被处理器执行时用于实现如第一方面所述的去除高光的路面三维重建方法的操作。

33、本发明采用上述技术方案具有以下效果：

34、本发明通过对网格初始化，可根据相同相机位姿的方式对初始化后的网格节点进行渲染，并根据相同相机位姿的方式，利用神经网络光照模型输出对应的高光图像；以及通过将渲染图像与对应的高光图像进行叠加，可根据叠加的图像与对应位姿的路面图像计算损失和反向传播，从而更新网格的位置和颜色后得到重建后的路面图像；本发明提出一种能将高光和漫反射解耦的三维重建算法，使得网格节点的颜色为漫反射颜色，从而最终去除高光，提升三维重建的效果。