评测数据的确定方法和装置、存储介质及电子设备与流程

本技术涉及智能驾驶，具体而言，涉及一种评测数据的确定方法和装置、存储介质及电子设备。

背景技术：

1、在智能驾驶系统中，自动驾驶中的数据闭环一直是提升各种算法，尤其是感知算法的关键所在。在提升感知性能的过程中，一方面需要各种高价值场景数据生成真值，支持模型的训练迭代，另一方面需要完善的评测体系，进行感知算法的评测和结果分析，以此发现感知算法当前存在的不足之处，同时基于评测结果分析支撑后续高价值场景数据的筛选。

2、然而，相关技术在对感知算法进行评测时主要输出算法模型的召回率，精确率，少有从多个维度输出更为全面的评测指标，核心在于通过人工标注的真值很难获取目标具体的速度、深度信息，并且当前许多感知算法模型评测分析结果，主要用于评价感知算法模型优劣，没有显示直接的支持到后续的数据集筛选切片，也没有闭环支持到感知算法模型的迭代优化。换言之，相关技术对评测数据的确定方法存在数据确定不准确、效率低的问题。

3、针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

1、本技术实施例提供了一种评测数据的确定方法和装置、存储介质及电子设备，以至少解决相关技术提供的评测数据的确定方法存在数据确定不准确、效率低的技术问题。

2、根据本技术实施例的一个方面，提供了一种评测数据的确定方法，包括：获取按照多个数据采集条件下各自采集的道路数据集，其中，道路数据集中包括对目标道路场景进行图像采集得到的至少一个道路图像，以及对目标道路场景进行点云采集得到至少一个点云图像；根据多个数据采集条件各自对应的第一道路对象集合和第二道路对象集合之间的对象匹配结果，确定目标道路对象集合，其中，第一道路对象集合为对至少一个道路图像进行对象识别得到的，第二道路对象集合为对至少一个点云图像进行对象识别得到的；根据多个目标道路对象集合，对待评测感知模型分别进行模型评测，得到与多个目标道路对象集合分别匹配的模型评测结果；根据多个模型评测结果，从多个数据采集条件中确定出至少一个关键数据采集条件，其中，关键数据采集条件指示用于对待评测感知模型进行后续评测的评测道路数据集的采集条件。

3、根据本技术实施例的另一方面，还提供了一种评测数据的确定装置，包括：获取单元，获取按照多个数据采集条件下各自采集的道路数据集，其中，道路数据集中包括对目标道路场景进行图像采集得到的至少一个道路图像，以及对目标道路场景进行点云采集得到至少一个点云图像；第一确定单元，根据多个数据采集条件各自对应的第一道路对象集合和第二道路对象集合之间的对象匹配结果，确定目标道路对象集合，其中，第一道路对象集合为对至少一个道路图像进行对象识别得到的，第二道路对象集合为对至少一个点云图像进行对象识别得到的；评测单元，根据多个目标道路对象集合，对待评测感知模型分别进行模型评测，得到与多个目标道路对象集合分别匹配的模型评测结果；第二确定单元，根据多个模型评测结果，从多个数据采集条件中确定出至少一个关键数据采集条件，其中，关键数据采集条件指示用于对待评测感知模型进行后续评测的评测道路数据集的采集条件。

4、可选地，上述获取单元，包括：训练模块，用于根据关键数据采集条件更新数据采集条件，得到多个目标数据采集条件；获取按照多个目标数据采集条件下各自采集的目标道路数据集；根据目标道路数据集对待评测感知模型进行训练。

5、可选地，上述训练模块还用于确定与每个关键数据采集条件匹配的目标采集描述信息；根据目标采集描述信息所指示的目标采集时间间隔，目标采集道路场景标签以及目标采集道路环境标签，确定与每个关键数据采集条件匹配的目标数据采集条件；获取按照多个目标数据采集条件下各自采集的目标道路数据集；根据目标道路数据集对待评测感知模型进行训练。

6、可选地，上述第一确定单元，还包括：数据选择模块，用于从包含目标场景标签的道路数据中选择单帧采集的目标道路数据；单帧评测模块，用于确定目标道路数据对应的模型感知结果和真值数据，并将目标道路数据对应的模型感知结果和真值数据进行匹配，得到单帧评测结果。

7、可选地，上述模型评测单元，还包括：匹配模块，用于在与第一道路对象集合中第一候选对象对应的第一标注框，与第二道路对象集合中的第二候选对象对应的第二标注框满足目标位置条件的情况下，确定第一候选对象和第二候选对象之间的对象匹配关系，其中，具有对象匹配关系的第一候选对象和第二候选对象用于指示目标道路场景中的同一个目标道路对象，目标位置条件包括以下至少之一：第一标注框和第二标注框之间的重叠区域的区域面积大于或等于面积阈值；第一标注框和第二标注框之间的标注框距离的小于或等于距离阈值；在与第一候选对象对应的第一标注框，与第二道路对象集合中的任意一个候选对象对应的第二标注框均不满足目标位置条件的情况下，根据第一候选对象的历史匹配信息，从第二道路对象集合中确定出满足历史匹配条件的第二候选对象，其中，历史匹配信息包括至少一个历史道路场景各自对应的历史对象匹配结果，历史道路场景对应的采集时间戳早于目标道路场景的采集时间戳；其中，第一标注框用于指示第一候选对象在道路图像中的第一图像区域，第二标注框用于指示第二候选对象在道路图像中的第二图像区域，第二图像区域为基于第二候选对象匹配的点云信息在道路图像的投影结果。

8、可选地，上述匹配模块，还用于在第一标注框，与第二道路对象集合中的任意一个候选对象各自的候选标注框之间的重叠区域，均小于面积阈值的情况下，从与第二道路对象集合匹配的第二参考标注框集合中，获取与第一标注框匹配的第二参考标注框子集，其中，第二参考标注框子集中的第二参考标注框与第一标注框之间的重叠区域的区域面积大于0，且小于面积阈值；从第二参考标注框子集中确定出目标标注框，其中，第一标注框与目标标注框之间的重叠区域的区域面积，大于第二参考标注框子集中其他标注框各自对应的重叠区域的区域面积；在目标标注框与第一标注框之间的标注框距离，均小于第一参考标注框集合中其他标注框各自对应的标注框距离的情况下，确定目标标注框与第一标注框之间的标注框距离，满足目标距离条件，确定目标标注框指示的第三候选对象与第一道路对象之间具有对象匹配关系，其中，第一参考标注框用于指示第一道路对象集合中的候选对象在与目标道路场景匹配的目标道路图像中的图像区域，多个第一参考标注框包括第一标注框。

9、可选地，上述数据获取单元，还包括：数据确定模块，用于确定目标类别和目标距离阈值区间；数据获取模块，用于获取包含目标场景标签且目标类别在目标距离阈值区间内的目标道路数据，并将目标道路数据确定为训练数据；模型训练模块，用于利用训练数据对待评测感知模型进行训练。

10、可选地，上述匹配模块还用于获取历史匹配信息，其中，历史匹配信息包括第一候选对象在多个历史道路场景中的历史对象匹配结果，多个历史道路场景和目标道路场景为多个信息采集操作分别对应的道路场景，多个信息采集操作为多个连续时间戳分别对应的信息采集操作，信息采集操作包括图像数据采集操作和点云数据采集操作，历史对象匹配结果用于指示在当前道路场景中与第一候选对象匹配的第二参考对象；将匹配次数最多的第二参考对象，确定为满足历史匹配条件的第二候选对象；或获取匹配次数最多的第二参考对象的历史匹配信息；在第二参考对象的历史匹配信息指示，与第二参考对象匹配次数最多的候选对象并非第一候选对象的情况下，根据至少一个第二参考对象各自对应的匹配次数，确定对象获取次序；根据对象获取次序，从至少一个第二参考对象依次获取一个第二参考对象作为当前参考对象；在当前参考对象的历史匹配信息指示，第一候选对象为与当前参考对象匹配次数最多的候选对象的情况下，将当前参考对象确定为满足历史匹配条件的第二候选对象。

11、可选地，上述匹配模块，还包括：校验模块，用于获取与满足历史匹配条件的第二候选对象对应的第二标注框，以及根据关键帧匹配信息确定的与第一候选对象匹配的第二验证候选对象对应的第二验证标注框；在第二验证标注框与第二标注框之间重叠区域的区域面积大于或等于面积阈值的情况下，确定匹配结果正确；在第二验证标注框与第二标注框之间重叠区域的区域面积小于面积阈值的情况下，确定第二验证标注框为第二待校正候选对象；根据与第二待校正候选对象所在关键帧对应的关键帧匹配信息，将与第一候选对象匹配的第二待校正候选对象修改为第二校正对象。

12、可选地，上述评测单元，还用于：将多个目标道路对象集合输入待评测感知模型得到与多个目标道路对象集合分别匹配的模型预测结果；根据与每个目标道路对象集合分别匹配的模型预测结果和真值数据对待评测感知模型进行模型评测，得到类别评测结果，其中，类别评测结果用于指示多个类别的感知目标对应的评测结果；基于类别评测结果确定待评测感知目标类别，利用多个连续帧片段采集的道路数据对待评测感知模型在待评测感知目标类别的维度上进行评测，得到模型评测结果。

13、可选地，上述评测单元，还包括：第四确定单元，用于对多个连续帧片段采集的道路数据集各自对应的模型预测结果和真值数据对待评测感知模型进行模型评测，得到与多个连续帧片段各自对应的模型评测结果；在与多个连续帧片段各自对应的模型评测结果中确定满足预设条件的模型评测结果为待确定评测结果；将与待确定评测结果对应的至少一个目标道路对象集合所匹配的场景标签中的重复场景标签确定为目标场景标签；从与目标场景标签匹配的目标道路对象集合中选择单帧采集的目标道路数据；确定目标道路数据对应的模型预测结果和真值数据，并将目标道路数据对应的模型预测结果和真值数据进行匹配，得到单帧评测结果。

14、可选地，上述评测单元，还包括：第五确定单元，用于根据与至少一个目标道路对象集合对应的真值数据确定出至少一个目标道路对象集合中的至少一个参考障碍物与自车间的距离，其中，参考障碍物用于指示自车的周围的静态障碍物和动态障碍物；根据至少一个参考障碍物与自车间的距离和预设的距离阈值将至少一个参考障碍物区分为至少一个参考障碍物集合；根据至少一个参考障碍物集合对应的目标道路对象集合依次对待评测感知模型进行模型评测，得到模型评测结果，包括以下至少之一：计算模型预测结果和真值数据中的距离间的差值得到绝对距离误差；计算绝对距离误差与真值数据中的距离之间的比值得到相对距离误差；计算模型预测结果和真值数据中的速度间的差值得到绝对速度误差。

15、可选地，上述评测单元，还用于：确定待评测感知目标类别和目标距离阈值区间；获取属于目标场景标签且待评测感知目标类别在目标距离阈值区间内的目标道路数据，并将目标道路数据确定为更新训练数据；利用更新训练数据对待评测感知模型进行训练。

16、根据本技术实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述评测数据的确定方法。

17、根据本技术实施例的又一个方面，提供一种计算机程序产品，该计算机程序产品包括计算机程序/指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机程序/指令，处理器执行该计算机程序/指令，使得该计算机设备执行如以上评测数据的确定方法。

18、根据本技术实施例的又一方面，还提供了一种电子设备，包括存储器和处理器，上述存储器中存储有计算机程序，上述处理器被设置为通过上述计算机程序执行上述的评测数据的确定方法。

19、在本技术实施例中，获取按照多个数据采集条件下各自采集的道路数据集；然后根据多个数据采集条件各自对应的第一道路对象集合和第二道路对象集合之间的对象匹配结果，确定目标道路对象集合，其中，第一道路对象集合为对至少一个道路图像进行对象识别得到的，第二道路对象集合为对至少一个点云图像进行对象识别得到的；根据多个目标道路对象集合，对待评测感知模型分别进行模型评测，得到与多个目标道路对象集合分别匹配的模型评测结果；从而根据多个模型评测结果，从多个数据采集条件中确定出至少一个关键数据采集条件，其中，关键数据采集条件指示用于对待评测感知模型进行后续评测的评测道路数据集的采集条件。通过确定关键数据采集条件有指向性地获取提升感知模型输出的结果较差部分的训练数据。解决了相关技术提供的评测数据的确定方法存在数据确定不准确、效率低的技术问题。提高了感知模型的优化效率。