一种模型训练方法、路面重建方法、设备及产品与流程

本公开涉及道路处理，具体而言，涉及一种模型训练方法、路面重建方法、设备及产品。

背景技术：

1、针对车辆行驶，特别是在自动驾驶领域，为了辅助车辆行驶，常常会对路面进行仿真重建。通过路面重建可以为车辆的感知模块提供更加准确、多样的道路数据，从而便于后续针对车辆的规划控制。现有的路面重建方法大多分为基于激光雷达的重建方式和基于视觉的重建方式。对于基于激光雷达的重建方式，由于激光雷达价格比较昂贵，因此很多车辆上并没有安装，而且通过激光雷达获得的点云并没有颜色，因此还需额外通过其他手段获取道路的语义信息，步骤较为繁琐。

2、对于基于视觉的重建方式，其具体分为多视角立体视觉(multiple view stereo，mvs)和神经辐射场(neural radiance fields，nerf)，对于mvs，若路段的图像纹理丰富性较低，就会导致重建结果不够准确，对于nerf，其更侧重于新视角图像的生成，对于几何信息重建的准确性和完整性较低。

技术实现思路

1、本公开实施例至少提供一种模型训练方法、路面重建方法、设备及产品。

2、本公开实施例提供了一种模型训练方法，所述方法包括：

3、获取数据集合，所述数据集合包括样本数据集、标签数据集以及渲染数据集，所述样本数据集包括预设路段的多个位置数据，所述标签数据集包括所述预设路段的多个原始路面图像，所述渲染数据集包括至少一个图像采集装置分别拍摄对应的原始路面图像时的内外参数信息；

4、将所述样本数据集输入至构建的神经网络模型，得到预测输出结果，所述预测输出结果包括与每个所述位置数据对应的路面属性信息，所述路面属性信息包括路面高度信息、路面颜色信息和路面语义信息；

5、基于所述渲染数据集，对所述预设路段的路面模型进行渲染处理，得到与所述路面模型对应的渲染结果；所述路面模型为基于所述位置数据和对应的路面属性信息生成的用于表征所述预设路段的模型；

6、根据所述渲染结果和所述标签数据集确定目标损失，并根据所述目标损失调整所述神经网络模型的参数信息，直到得到训练好的路面重建模型。

7、本公开实施例中，可以将样本数据集包括的预设路段的多个位置数据输入至神经网络模型，得到包括与每个位置数据对应的路面属性信息的预测输出结果，进而基于渲染数据集，对采用位置数据和对应的路面属性信息生成的路面模型进行渲染处理，得到与路面模型对应的渲染结果，然后根据渲染结果和标签数据集确定目标损失，并根据目标损失调整神经网络模型的参数信息，直到得到训练好的路面重建模型。这样，由于本方案先基于渲染数据集对路面模型进行渲染处理得到与路面模型对应的渲染结果，再根据渲染结果和标签数据集确定目标损失，并未直接根据预测输出结果和标签数据集确定目标损失，由于渲染结果更能反映对路面的实际展现需求，因此，将渲染结果对应的目标损失反馈到路面重建模型，更有助于提升路面重建模型的训练效果，保障路面重建模型的实用性。

8、一种可选的实施方式中，根据以下步骤获取所述多个原始路面图像：

9、在所述目标设备多次在所述预设路段行驶的过程中，通过设置于所述目标设备上的多个图像采集装置拍摄得到所述原始路面图像。

10、本公开实施例中，可以通过目标设备多次在预设路段行驶的过程中，通过设置于目标设备上的多个图像采集装置拍摄得到原始路面图像，有助于提升标签数据集的丰富性，从而提高模型训练效果。

11、一种可选的实施方式中，所述渲染结果包括基于渲染得到的rgb图像、基于渲染得到的深度图像和基于渲染得到的语义图像；

12、所述根据所述渲染结果和所述标签数据集确定目标损失，包括以下至少一种：

13、基于所述rgb图像以及所述多个原始路面图像，确定第一损失；

14、基于所述深度图像，以及所述标签数据集中包括的与所述原始路面图像对应的特征点深度图像，确定第二损失；

15、基于所述语义图像，以及所述标签数据集中包括的与所述原始路面图像对应的语义分割图像，确定第三损失。

16、本公开实施例中，可以有针对性地分别基于rgb图像、深度图像和语义图像确定损失，从而有助于训练得到能够输出准确的路面高度信息、路面颜色信息和路面语义信息的路面重建模型，同时还可以兼顾确定目标损失的灵活性和丰富性，有助于提升训练得到的路面重建模型的实用性。

17、一种可选的实施方式中，所述基于所述rgb图像以及所述多个原始路面图像，确定第一损失，包括：

18、对所述rgb图像进行颜色校正处理，得到颜色校正处理后的rgb图像；

19、基于颜色校正处理后的各个rgb图像及所述多个原始路面图像，确定所述第一损失。

20、本公开实施例中，考虑到曝光等因素影响，针对不同的图像采集装置而言，其成像效果往往不同，并且，针对通过同一图像采集装置在目标设备不同次行驶过程中的拍摄而言，不同次行驶过程的环境因素不同，例如光照等并不相同，这样，通过对rgb图像进行颜色校正处理，有助于降低不同次行驶过程以及不同图像采集装置之间的拍摄差异，从而有助于减少不同次行驶过程以及不同图像采集装置对于路面重建的影响，提升模型训练效果，使得重建后的路面图像更加清晰，对比度更强。

21、一种可选的实施方式中，所述对所述rgb图像进行颜色校正处理，得到颜色校正处理后的rgb图像，包括：

22、通过预先训练好的颜色校正模型，对所述rgb图像进行颜色校正处理，得到进行颜色校正处理后的rgb图像；其中，不同图像采集装置对应的颜色校正模型不同，同一图像采集装置在不同次行驶过程对应的颜色校正模型不同。

23、本公开实施例中，可以通过预先训练好的颜色校正模型实现对rgb图像的颜色校正处理，有助于提升颜色校正处理的效率和效果，并且不同图像采集装置对应的颜色校正模型不同，同一图像采集装置在不同次行驶过程对应的颜色校正模型不同，从而有效提高颜色校正处理效果，有助于减少不同图像采集装置的拍摄风格不同，例如成像的亮度不同，以及不同次行驶过程的环境因素不同，例如光照等不相同，对于成像的影响，从而通过颜色校正可以得到rgb图像本质的颜色。

24、一种可选的实施方式中，所述基于所述深度图像，以及所述标签数据集中包括的与所述原始路面图像对应的特征点深度图像，确定第二损失，包括：

25、基于各个深度图像以及各个特征点深度图像，确定第一深度损失，所述第一深度损失用于表征采用所述特征点深度图像对所述深度图像进行深度监督时的损失；

26、基于多个所述深度图像中各对相邻深度图像，确定第二深度损失，每对所述相邻深度图像对应的原始路面图像通过同一图像采集装置的相邻两次拍摄得到，所述第二深度损失用于表征相邻深度图像之间进行深度自监督时的损失；

27、基于所述第一深度损失和所述第二深度损失，确定所述第二损失。

28、本公开实施例中，原始路面图像对应的特征点深度图像是通过路面图像对预设路段进行稀疏重建处理得到的，考虑到特征点深度图像中的特征点较为稀疏，因此在通过特征点深度图像对深度图像进行深度监督的基础上，结合相邻深度图像之间的深度自监督，有助于路面重建模型学习到更准确的路面高度信息。

29、一种可选的实施方式中，所述原始路面图像包括路面元素和非路面元素，所述根据所述渲染结果和所述标签数据集确定目标损失，包括：

30、根据从所述渲染结果中提取的路面元素和从所述标签数据集中提取的路面元素，确定所述目标损失。

31、本公开实施例中，可以根据从渲染结果中提取的路面元素和从标签数据集中提取的路面元素，确定目标损失，有助于减少非路面元素对于路面重建的干扰，保障模型训练效果，有助于提升路面重建模型输出结果的精确性。

32、本公开实施例还提供一种路面重建方法，所述方法包括：

33、获取目标设备采集的环境感知数据；

34、基于所述环境感知数据，确定所述目标设备所处环境中的待重建路段；

35、将所述待重建路段对应的路面位置数据输入根据如上述的模型训练方法训练得到的路面重建模型，得到与所述路面位置数据对应的路面属性信息，所述路面属性信息包括路面高度信息、路面颜色信息和路面语义信息；

36、基于所述路面位置数据及其对应的路面属性信息，对所述待重建路段进行路面重建，得到所述待重建路段对应的目标路面模型。

37、本公开实施例中，可以通过目标设备采集的环境感知数据，确定目标设备所处环境中的待重建路段，进而使用训练得到的路面重建模型，对待重建路段对应的路面位置数据进行处理，得到与路面位置数据对应的路面属性信息，有助于提升得到的路面属性信息的准确性和完整性，从而基于路面位置数据及其对应的路面属性信息，对待重建路段进行路面重建，得到待重建路段对应的目标路面模型，有助于保障目标路面模型的精确性和实用性，从而后续可以辅助目标设备行驶，提高目标设备行驶的安全性。

38、本公开实施例还提供一种计算机程序产品，该计算机程序产品上存储有计算机程序，该计算机程序被处理器运行时执行上述模型训练方法或者路面重建方法中任一种可能的实施方式中的步骤。

39、关于上述电子设备及计算机程序产品的效果描述参见上述模型训练方法、路面重建方法的说明，这里不再赘述。

40、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开的技术方案。

41、为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。