数据处理方法、装置、电子设备及存储介质与流程

本技术实施例涉及数据处理，尤其涉及一种数据处理方法、装置、电子设备及存储介质。

背景技术：

1、随着智能驾驶技术的不断完善和普及，需要通过车载传感器(包括摄像头、激光雷达、毫米波雷达、imu等传感器)采集更多的场景数据，来训练更复杂的自动驾驶算法模型，以及随着十万级、百万级量产车的上路，回传的数据量将指数级上升，从而导致数据标注量呈指数级上升的趋势，数据标注压力剧增。传统的标注模式，将采集生成的不同型号车辆、不同类型传感器的多个数据文件，通过数据盘上传的方式上传至标注系统进行标注，数据安全得不到保障，而且数据不具有关联性，无法满足自动驾驶算法模型训练对关联数据全面覆盖的需求。因此，针对采集到的海量数据，在保证数据传输安全性的情况下，如何进行有效融合并实现高效且准确地数据标注成为了目前亟需解决的问题。

技术实现思路

1、为了解决上述技术问题或者至少部分地解决上述技术问题，本技术实施例提供一种数据处理方法、装置、电子设备及存储介质，用以解决针对采集到的海量数据，在保证数据传输安全性的情况下，如何进行有效融合并实现高效且准确地数据标注的问题。

2、为了实现上述目的，本技术实施例提供的技术方案如下：

3、第一方面，本技术实施例提供一种数据处理方法，所述数据处理方法包括：获取原始数据集，所述原始数据集中包括多个原始视频；

4、对每个原始视频进行逐帧的场景挖掘，得到每个原始视频对应的多个目标场景标签，每个场景标签对应所述每个原始视频中的至少一帧原始图像；

5、根据所述目标场景标签，对所述多个原始视频中的每帧原始图像进行数据融合，得到多组图像数据，每组图像数据中包括的所有原始图像对应相同的目标场景标签；

6、分别对所述多组图像数据进行对象标注，得到标注后的目标图像数据，所述目标图像数据用于进行初始智能驾驶模型的模型训练。

7、作为一种可选的实施方式，在本技术实施例的第一方面中，所述对每个原始视频进行逐帧的场景挖掘，得到每个原始视频对应的多个目标场景标签，包括：

8、对所述每个原始视频进行数据预处理，得到多个初始视频；

9、对每个初始视频进行逐帧的场景挖掘，得到所述每个初始视频对应的所述多个目标场景标签。

10、作为一种可选的实施方式，在本技术实施例的第一方面中，所述对每个初始视频进行逐帧的场景挖掘，得到所述每个初始视频对应的所述多个目标场景标签，包括：

11、根据预设图像识别算法，基于预存的场景标签信息，对所述每个初始视频进行逐帧的场景挖掘，得到所述每个初始视频对应的所述多个目标场景标签。

12、作为一种可选的实施方式，在本技术实施例的第一方面中，所述根据所述目标场景标签，对所述多个原始视频中的每帧原始图像进行数据融合，得到多组图像数据，包括：

13、根据所述目标场景标签，对每个初始视频进行切片，得到多个场景数据，所述场景数据包括场景图像和/或场景视频；

14、对所述多个场景数据进行数据融合，得到所述多组图像数据。

15、作为一种可选的实施方式，在本技术实施例的第一方面中，所述数据预处理至少包括：数据清洗、数据去重和数据脱敏，所述对所述每个原始视频进行数据预处理，得到多个初始视频，包括：

16、对每个原始视频进行数据清洗，得到清洗后的视频数据；

17、识别所述清洗后的视频数据的重复画面，并将重复画面去除，得到去重后的图像数据；

18、对所述去重后的图像数据进行敏感信息识别，并将识别到的敏感信息进行模糊处理，得到所述多个初始视频。

19、作为一种可选的实施方式，在本技术实施例的第一方面中，所述分别对所述多组图像数据进行对象标注，得到标注后的目标图像数据，包括：

20、将所述多组图像数据送标，输入到多个标注系统中进行对象标注，并接收所述多个标注系统反馈的所述标注后的目标图像数据；

21、其中，每组图像数据中包括的所有原始图像输入到同一标注系统中。

22、作为一种可选的实施方式，在本技术实施例的第一方面中，所述分别对所述多组图像数据进行对象标注，得到标注后的目标图像数据，包括：

23、分别对所述多组图像数据进行对象标注，得到标注后的初始图像数据；

24、对所述初始图像数据进行数据解析，得到每个初始图像数据对应的数据结构；

25、按照预设标准数据结构，对所述每个初始图像数据对应的数据结构进行格式转换，得到所述目标图像数据。

26、第二方面，本技术实施例提供一种数据处理装置，所述数据处理装置包括：获取模块，用于获取原始数据集，所述原始数据集中包括多个原始视频；

27、处理模块，用于对每个原始视频进行逐帧的场景挖掘，得到每个原始视频对应的多个目标场景标签，每个场景标签对应所述每个原始视频中的至少一帧原始图像；

28、所述处理模块，还用于根据所述目标场景标签，对所述多个原始视频中的每帧原始图像进行数据融合，得到多组图像数据，每组图像数据中包括的所有原始图像对应相同的目标场景标签；

29、所述处理模块，还用于分别对所述多组图像数据进行对象标注，得到标注后的目标图像数据，所述目标图像数据用于进行初始智能驾驶模型的模型训练。

30、第三方面，本技术实施例提供一种电子设备，所述电子设备包括：

31、存储有可执行程序代码的存储器；

32、与所述存储器耦合的处理器；

33、所述处理器调用所述存储器中存储的所述可执行程序代码，执行本技术实施例第一方面中的数据处理方法。

34、第四方面，本技术实施例提供一种计算机可读存储介质，其存储计算机程序，所述计算机程序使得计算机执行本技术实施例第一方面中的数据处理方法。所述计算机可读存储介质包括rom/ram、磁盘或光盘等。

35、第五方面，本技术实施例提供一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行第一方面的任意一种方法的部分或全部步骤。

36、第六方面，本技术实施例提供一种应用发布平台，所述应用发布平台用于发布计算机程序产品，其中，当所述计算机程序产品在计算机上运行时，使得所述计算机执行第一方面的任意一种方法的部分或全部步骤。

37、与现有技术相比，本技术实施例具有以下有益效果：

38、本技术实施例提供一种数据处理方法、装置、电子设备及存储介质，获取原始数据集，原始数据集中包括多个原始视频；对每个原始视频进行逐帧的场景挖掘，得到每个原始视频对应的多个目标场景标签，每个场景标签对应每个原始视频中的至少一帧原始图像；根据目标场景标签，对多个原始视频中的每帧原始图像进行数据融合，得到多组图像数据，每组图像数据中包括的所有原始图像对应相同的目标场景标签；分别对多组图像数据进行对象标注，得到标注后的目标图像数据，目标图像数据用于进行初始智能驾驶模型的模型训练。通过该方案，实现对采集的原始数据、挖掘的场景数据、标注结果数据等步骤的统一管理，最终为算法模型训练与评测验证提供数据服务，同时加速了数据处理的效率，以及标注数据在多系统之间流转的流程，提高了数据安全性，大大提升了标注效率和算法模型训练效率，从而实现了智能驾驶算法快速升级迭代。