数据处理方法、装置、电子设备及存储介质与流程

本技术涉及计算机，特别涉及一种数据处理方法、装置、电子设备及存储介质。

背景技术：

1、随着信息技术的飞速发展，全球互联网用户个性化需求不断增长，需要对用户的海量数据进行存储、分析，从而造成个性化服务的需求也快速增长。例如，在汽车领域中，可以对用户的车辆行驶数据进行分析和处理。

2、但是，由于在日常生活中产生的车辆行驶数据的数据量非常庞大，导致车辆供应商对这些数据进行管理和处理的难度加大，数据处理的方式不够便捷。

技术实现思路

1、本技术实施例提供了一种数据处理方法、装置、电子设备及存储介质，能够提高数据处理方法的便捷性。所述技术方案如下。

2、一方面，提供了一种数据处理方法，应用于数据管理客户端，数据管理客户端与分布式文件系统建立有通信连接，分布式文件系统包括存储服务器、调度服务器和运算服务器，所述方法包括：

3、响应于数据上传操作，将车辆行驶数据上传至所述存储服务器，所述存储服务器用于存储所述车辆行驶数据；

4、响应于任务创建操作，生成任务表单，向所述调度服务器发送所述任务表单，所述任务表单包括输入地址和输出地址，所述输入地址指示所述存储服务器中所述车辆行驶数据所在的存储空间，所述输出地址指示所述存储服务器中所述车辆行驶数据的处理结果所在的存储空间；其中，所述调度服务器用于将所述任务表单转发至所述运算服务器，所述运算服务器用于基于所述任务表单，对所述输入地址指示的存储空间中的所述车辆行驶数据进行处理，将处理结果写入所述输出地址指示的存储空间；

5、响应于结果显示操作，在所述输出地址指示的存储空间中读取所述处理结果，显示所述处理结果。

6、在一种可能的实现方式中，所述响应于任务创建操作，生成任务表单，包括：

7、响应于所述任务创建操作，显示表单设置界面；

8、响应于在所述表单设置界面中的设置操作，基于设置的所述输入地址和所述输出地址，生成所述任务表单。

9、在一种可能的实现方式中，所述响应于在所述表单设置界面中的设置操作，基于设置的所述输入地址和所述输出地址，生成所述任务表单，包括：

10、响应于在所述表单设置界面中的地址输入操作，获取输入的所述输入地址和所述输出地址；

11、响应于在所述表单设置界面中对多个候选算法的选择操作，获取被选中的目标算法，所述多个候选算法是由所述运算服务器提供的；

12、基于所述输入地址、所述输出地址和所述目标算法，生成所述任务表单，所述任务表单包括所述输入地址、所述输出地址和所述目标算法；所述运算服务器用于按照所述目标算法，对所述车辆行驶数据进行处理，将所述处理结果写入所述输出地址指示的存储空间。

13、在一种可能的实现方式中，所述响应于在所述表单设置界面中的设置操作，基于设置的所述输入地址和所述输出地址，生成所述任务表单，包括：

14、响应于在所述表单设置界面中的地址输入操作，获取输入的所述输入地址和所述输出地址；

15、响应于在所述表单设置界面中的目标输入操作，获取输入的任务目标，所述任务目标指示对所述车辆行驶数据进行处理的目标；

16、基于所述输入地址、所述输出地址和所述任务目标，生成所述任务表单，所述任务表单包括所述输入地址、所述输出地址和所述任务目标；所述运算服务器用于基于所述任务目标，对所述车辆行驶数据进行处理，得到符合所述任务目标的处理结果，将符合所述任务目标的处理结果写入所述输出地址指示的存储空间。

17、在一种可能的实现方式中，所述响应于任务创建操作，生成任务表单，向调度服务器发送所述任务表单之后，所述方法还包括以下至少一项：

18、响应于任务暂停操作，向所述调度服务器发送针对所述任务表单的任务暂停指令；所述调度服务器用于向所述运算服务器发送所述任务暂停指令，所述运算服务器用于响应于所述任务暂停指令，暂停对所述车辆行驶数据进行处理；

19、响应于任务终止操作，向所述调度服务器发送针对所述任务表单的任务终止指令；所述调度服务器用于向所述运算服务器发送所述任务终止指令，所述运算服务器用于响应于所述任务终止指令，结束对所述车辆行驶数据进行处理；

20、响应于任务进度查询操作，向所述调度服务器发送针对所述任务表单的进度查询指令；所述调度服务器用于响应于所述进度查询指令，在所述运算服务器中获取所述车辆行驶数据的处理进度，向所述数据管理客户端发送所述处理进度。

21、在一种可能的实现方式中，所述响应于结果显示操作，在所述输出地址指示的存储空间中读取所述处理结果，显示所述处理结果，包括：

22、响应于所述结果显示操作，在所述输出地址指示的存储空间中读取所述处理结果，显示多个候选数据结构；

23、响应于对所述多个候选数据结构中的目标数据结构的选择操作，采用所述目标数据结构显示所述处理结果。

24、在一种可能的实现方式中，所述响应于数据上传操作，将车辆行驶数据上传至存储服务器之前，所述方法还包括：

25、获取原始车辆行驶数据；

26、响应于对所述原始车辆行驶数据的预处理操作，对所述原始车辆行驶数据进行预处理，得到所述车辆行驶数据；其中，所述预处理操作包括数据清洗操作或文件切片操作中的至少一项。

27、在一种可能的实现方式中，所述向所述调度服务器发送所述任务表单，包括：

28、响应于登录操作，基于目标账号的登录信息，在所述数据管理服务器中登录所述目标账号，所述目标账号是在所述分布式文件系统中注册的；

29、基于所述目标账号，向所述调度服务器发送所述任务表单。

30、另一方面，提供了一种数据处理方法，应用于数据管理客户端，所述数据管理客户端与分布式文件系统建立有通信连接，所述分布式文件系统包括存储服务器、调度服务器和运算服务器，所述装置包括：

31、数据上传模块，用于响应于数据上传操作，将车辆行驶数据上传至所述存储服务器，所述存储服务器用于存储所述车辆行驶数据；

32、任务发送模块，用于响应于任务创建操作，生成任务表单，向所述调度服务器发送所述任务表单，所述任务表单包括输入地址和输出地址，所述输入地址指示所述存储服务器中所述车辆行驶数据所在的存储空间，所述输出地址指示所述存储服务器中所述车辆行驶数据的处理结果所在的存储空间；其中，所述调度服务器用于将所述任务表单转发至所述运算服务器，所述运算服务器用于基于所述任务表单，对所述输入地址指示的存储空间中的所述车辆行驶数据进行处理，将处理结果写入所述输出地址指示的存储空间；

33、结果显示模块，用于响应于结果显示操作，在所述输出地址指示的存储空间中读取所述处理结果，显示所述处理结果。

34、在一种可能的实现方式中，所述任务发送模块，用于：

35、响应于所述任务创建操作，显示表单设置界面；

36、响应于在所述表单设置界面中的设置操作，基于设置的所述输入地址和所述输出地址，生成所述任务表单。

37、在一种可能的实现方式中，所述任务发送模块，用于：

38、响应于在所述表单设置界面中的地址输入操作，获取输入的所述输入地址和所述输出地址；

39、响应于在所述表单设置界面中对多个候选算法的选择操作，获取被选中的目标算法，所述多个候选算法是由所述运算服务器提供的；

40、基于所述输入地址、所述输出地址和所述目标算法，生成所述任务表单，所述任务表单包括所述输入地址、所述输出地址和所述目标算法；所述运算服务器用于按照所述目标算法，对所述车辆行驶数据进行处理，将所述处理结果写入所述输出地址指示的存储空间。

41、在一种可能的实现方式中，所述任务发送模块，用于：

42、响应于在所述表单设置界面中的地址输入操作，获取输入的所述输入地址和所述输出地址；

43、响应于在所述表单设置界面中的目标输入操作，获取输入的任务目标，所述任务目标指示对所述车辆行驶数据进行处理的目标；

44、基于所述输入地址、所述输出地址和所述任务目标，生成所述任务表单，所述任务表单包括所述输入地址、所述输出地址和所述任务目标；所述运算服务器用于基于所述任务目标，对所述车辆行驶数据进行处理，得到符合所述任务目标的处理结果，将符合所述任务目标的处理结果写入所述输出地址指示的存储空间。

45、在一种可能的实现方式中，所述装置还包括任务控制模块，用于执行以下至少一项：

46、响应于任务暂停操作，向所述调度服务器发送针对所述任务表单的任务暂停指令；所述调度服务器用于向所述运算服务器发送所述任务暂停指令，所述运算服务器用于响应于所述任务暂停指令，暂停对所述车辆行驶数据进行处理；

47、响应于任务终止操作，向所述调度服务器发送针对所述任务表单的任务终止指令；所述调度服务器用于向所述运算服务器发送所述任务终止指令，所述运算服务器用于响应于所述任务终止指令，结束对所述车辆行驶数据进行处理；

48、响应于任务进度查询操作，向所述调度服务器发送针对所述任务表单的进度查询指令；所述调度服务器用于响应于所述进度查询指令，在所述运算服务器中获取所述车辆行驶数据的处理进度，向所述数据管理客户端发送所述处理进度。

49、在一种可能的实现方式中，所述结果显示模块，用于：

50、响应于所述结果显示操作，在所述输出地址指示的存储空间中读取所述处理结果，显示多个候选数据结构；

51、响应于对所述多个候选数据结构中的目标数据结构的选择操作，采用所述目标数据结构显示所述处理结果。

52、在一种可能的实现方式中，所述装置还包括数据处理模块，用于：

53、获取原始车辆行驶数据；

54、响应于对所述原始车辆行驶数据的预处理操作，对所述原始车辆行驶数据进行预处理，得到所述车辆行驶数据；其中，所述预处理操作包括数据清洗操作或文件切片操作中的至少一项。

55、在一种可能的实现方式中，所述任务发送模块，用于：

56、响应于登录操作，基于目标账号的登录信息，在所述数据管理服务器中登录所述目标账号，所述目标账号是在所述分布式文件系统中注册的；

57、基于所述目标账号，向所述调度服务器发送所述任务表单。

58、另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储至少一条程序代码，所述至少一条程序代码由处理器加载并执行，以实现如上述任一实现方式所述的数据处理方法。

59、另一方面，提供了一种计算机程序产品，所述计算机程序产品包括至少一条程序代码，所述至少一条程序代码由处理器加载并执行，以实现如上述任一实现方式所述的数据处理方法。

60、本技术实施例提供的技术方案的有益效果至少包括：

61、本技术实施例提供了一种数据处理方法，分布式文件系统中的存储服务器负责存储数据，调度服务器负责对运算服务器进行调度，运算服务器提供有数据处理能力，终端中的数据处理客户端可以将车辆行驶数据存储在存储服务器中，后续请求调度服务器对运算服务器进行调度，以使运算服务器对存储至该存储服务器中的车辆行驶数据进行处理，并将处理结果写入该存储服务器的存储空间中。因此，数据处理客户端便可以从存储服务器中读取处理结果并进行显示。本技术实施例提供了一种数据管理客户端，能够利用分布式文件系统中各个服务器的存储能力、调度能力和运算能力，实现对车辆行驶数据进行处理，提高了数据处理的便捷性和效率。