数据处理方法、装置及电子设备、存储介质与流程

本技术涉及智能驾驶中的数据处理技术，尤其涉及一种数据处理方法、装置及电子设备、存储介质。

背景技术：

1、在自动驾驶领域，数据采集是必不可少、至关重要的一环。采集到的数据例如包括车辆总线数据、雷达点云数据、图像数据、音频数据、定位数据等。这些采集到的数据可以用于训练自动驾驶车辆的模型，并提高车辆的驾驶能力。

2、目前自动驾驶领域的数据采集方法中，所采集的数据是没有经过筛选和过滤的，这就造成数据质量低、数据量大的问题，给后续的模型训练带来了很多不必要的麻烦。造成数据质量低的原因例如采集数据时环境不稳定、采集设备故障等。造成数据量大的原因例如数据采集设备的类型较多。

3、那么，在自动驾驶领域，如何对所采集的数据进行处理，以筛选出质量高的数据和过滤掉质量低的数据，减少数据量，降低模型训练成本仍然是亟待解决的。

技术实现思路

1、本技术提供一种数据处理方法、装置及电子设备、存储介质，用以解决在自动驾驶领域，如何对所采集的数据进行处理，以筛选出质量高的数据和过滤掉质量低的数据，减少数据量，降低模型训练成本的问题。

2、一方面，本技术提供一种数据处理方法，包括：

3、获取安装在车辆上的多个数据采集设备中每个数据采集设备所采集的数据帧集合，所述数据帧集合包括至少一个数据帧；

4、针对每个数据采集设备，滤除所述数据帧集合中的异常数据帧后输出并存储目标数据帧集合；

5、所述异常数据帧至少包括以下一种或多种：时间戳异常的数据帧、数据量异常的数据帧、数据采集设备标定异常时采集的数据帧、数据采集设备的运行环境异常时采集的数据帧。

6、其中一个实施例中，所述获取安装在车辆上的多个数据采集设备中每个数据采集设备所采集的数据帧集合之前，所述方法还包括：

7、对安装在车辆上的每个数据采集设备进行诊断，当未接收到数据采集设备的设备错误码时，指示数据采集设备采集数据帧；当接收到数据采集设备的设备错误码时，指示数据采集设备停止采集数据帧。

8、其中一个实施例中，所述对安装在车辆上的每个数据采集设备进行诊断之前，所述方法还包括：

9、设定每个数据采集设备的时钟同步，并设定每个数据采集设备的数据采集动作同步；

10、标定每个数据采集设备的外参。

11、其中一个实施例中，所述滤除所述数据帧集合中的异常数据帧后输出并存储目标数据帧集合包括：

12、获取所述数据帧集合中每个数据帧携带的时间戳；

13、若未获取到当前数据帧携带的时间戳，或，若当前数据帧携带的时间戳与推算的当前数据帧应该携带的时间戳之间的差值超过预设差值，则确定当前数据帧为异常数据帧；

14、反复执行步骤所述若未获取到当前数据帧携带的时间戳，直到遍历所述数据帧集合中的每个数据帧后，滤除所述数据帧集合中的异常数据帧后输出并存储目标数据帧集合。

15、其中一个实施例中，所述滤除所述数据帧集合中的异常数据帧后输出并存储目标数据帧集合包括：

16、获取所述数据帧集合中每个数据帧的数据量；

17、若当前数据帧的数据量超出预设数据量范围时，确定当前数据帧为异常数据帧；其中，不同数据采集设备对应的预设数据量范围不同；

18、反复执行步骤所述若当前数据帧的数据量超出预设数据量范围时，，直到遍历所述数据帧集合中每个数据帧后，滤除所述数据帧集合中的异常数据帧后输出并存储目标数据帧集合。

19、其中一个实施例中，所述数据采集设备包括相机和雷达，所述滤除所述数据帧集合中的异常数据帧后输出并存储目标数据帧集合包括：

20、每隔固定时间间隔，在相机所采集的所述数据帧集合中的数据帧中提取车道线，以及，在雷达所采集的所述数据帧集合中的数据帧中提取所述车道线；

21、获取所述车道线的两个车道线消失点，根据所述两个车道线消失点进行所述相机的标定，获取相机的内参和外参，并根据所述相机的外参对所述雷达进行标定，获取雷达的外参；

22、当所述相机的内参或外参异常时，获取造成标定异常的数据帧，滤除相机所采集的所述数据帧集合中的异常数据帧后输出并存储目标数据帧集合；

23、当所述雷达的外参异常时，获取造成标定异常的数据帧，滤除雷达所采集的所述数据帧集合中的异常数据帧后输出并存储目标数据帧集合。

24、其中一个实施例中，所述数据采集设备包括相机，所述滤除所述数据帧集合中的异常数据帧后输出并存储目标数据帧集合包括：

25、获取相机采集的所述数据帧集合中的每个数据帧的平均亮度和环境雾度；

26、若连续多个数据帧中每个数据帧的平均亮度小于预设亮度，和/或，若连续多个数据帧中每个数据帧的环境雾度大于预设雾度，则确定所述连续多个数据帧中每个数据帧均为异常数据帧；

27、反复执行步骤所述若连续多个数据帧中每个数据帧的平均亮度小于预设亮度，直到遍历相机采集的所述数据帧集合中的每个数据帧，滤除所述数据帧集合中的异常数据帧后输出并存储目标数据帧集合。

28、其中一个实施例中，所述方法还包括：

29、当滤除的所述数据帧集合中的异常数据帧的数量超过预设数量时报警，并向每个数据采集设备发送停止采集数据帧的指令。

30、另一方面，本技术提供一种数据处理装置，包括：

31、获取模块，用于获取安装在车辆上的多个数据采集设备中每个数据采集设备所采集的数据帧集合，所述数据帧集合包括至少一个数据帧；

32、滤除模块，用于针对每个数据采集设备，滤除所述数据帧集合中的异常数据帧后输出并存储目标数据帧集合；

33、所述异常数据帧至少包括以下一种或多种：时间戳异常的数据帧、数据量异常的数据帧、数据采集设备标定异常时采集的数据帧、数据采集设备的运行环境异常时采集的数据帧。

34、另一方面，本技术提供一种电子设备，包括：处理器，以及与所述处理器通信连接的存储器；

35、所述存储器存储计算机执行指令；

36、所述处理器执行所述存储器存储的计算机执行指令，以实现如第一方面所述的数据处理方法。

37、另一方面，本技术提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当所述指令被执行时，使得计算机执行如第一方面所述的数据处理方法。

38、综上，本技术的实施例提供一种数据处理方法。该数据处理方法包括：获取安装在车辆上的多个数据采集设备中每个数据采集设备所采集的数据帧集合，该数据帧集合包括至少一个数据帧；针对每个数据采集设备，滤除该数据帧集合中的异常数据帧后输出并存储目标数据帧集合；该异常数据帧至少包括以下一种或多种：时间戳异常的数据帧、数据量异常的数据帧、数据采集设备标定异常时采集的数据帧、数据采集设备的运行环境异常时采集的数据帧。

39、即，在获取到数据采集设备采集的数据帧集合后，滤除数据帧集合中的异常数据帧，从而筛选出质量高的数据以及过滤掉质量低的数据，减少数据量，降低模型训练成本提高。