数据处理的方法、装置、电子设备和存储介质与流程

本发明涉及计算机，尤其涉及一种数据处理的方法、装置、电子设备和存储介质。

背景技术：

1、在运营系统建设的过程中，历史数据的导入通常与数据迁移、系统升级、数据库合并或新系统的初始化有关。随着业务的发展和技术的进步，运营系统需要将历史数据转移到新系统中，以确保信息的连续性和可用性，并提高系统数据分析、挖掘的能力。相关技术中，通常在运营系统设置接口导入工具，以通过与旧系统的接口对接，实现对历史数据的导入，但是这种方式的执行效率较低，导入数据量较大时需要消耗的时间较长，造成系统资源的浪费。

技术实现思路

1、有鉴于此，本发明实施例提供一种数据处理的方法、装置、电子设备和存储介质，能够解决通过系统接口对接实现对历史数据的导入，但是执行效率较低，导入数据量较大时需要消耗的时间较长，造成系统资源的浪费的问题。

2、为实现上述目的，根据本发明实施例的一个方面，提供了一种数据处理的方法。

3、本发明实施例的一种数据处理的方法包括：响应于数据导入指令，获取对应的数据模板，以基于所述数据模板批量导入历史数据集合；

4、获取所述历史数据集合中各数据的数据类型，以确定各所述数据类型对应的数据集合；

5、响应于活动对象的创建指令，获取所述活动对象的数据导入逻辑，基于所述数据导入逻辑提取所述活动对象关联的各数据要素，以确定各所述数据要素关联的目标数据集合；

6、将各所述目标数据集合按照所述数据导入逻辑组装，得到所述活动对象的数据对象，将所述数据对象存储至预设的数据队列。

7、在一个实施例中，基于所述数据导入逻辑提取所述活动对象关联的各数据要素，确定各所述数据要素关联的目标数据集合，包括：

8、识别所述数据导入逻辑中与各所述数据类型匹配的数据要素，建立所述数据要素和所述数据类型的关联关系，以确定各所述数据要素关联的目标数据集合。

9、在又一个实施例中，将各所述目标数据集合按照所述数据导入逻辑组装，得到所述活动对象的数据对象，包括：

10、基于所述数据导入逻辑中各数据要素的组合方式和编排方式，以基于所述组合方式将各所述数据要素的目标数据集合组合，得到组合数据集合，基于所述编排方式将各所述组合数据集合编排，得到所述活动对象的数据对象。

11、在又一个实施例中，获取所述历史数据集合中各数据的数据类型，包括：

12、基于所述数据模板提取各历史数据的数据描述，识别各所述数据描述中与活动基础数据关联的关键词，以基于所述关键词确定各所述历史数据的数据类型。

13、在又一个实施例中，所述确定各数据类型对应的数据集合，包括：

14、调用预设的聚类模型，基于所述数据类型对所述历史数据集合聚类，得到各所述数据类型对应的初始数据集合；

15、调用各所述数据类型的排序规则对所述初始数据集合中的数据排序，以确定各数据类型对应的数据集合。

16、在又一个实施例中，将所述数据对象存储至预设的数据队列之后，还包括：

17、响应于所述数据对象属于第一结构数据，将所述数据对象存储至预设数据库；响应于所述数据对象属于第二结构数据，建立数据对象的索引文件，确定存储位置，将所述数据对象存储至所述存储位置。

18、为实现上述目的，根据本发明实施例的另一方面，提供了一种数据处理的装置。

19、本发明实施例的一种数据处理的装置包括：导入单元，用于响应于数据导入指令，获取对应的数据模板，以基于所述数据模板导入历史数据集合；

20、确定单元，用于获取所述历史数据集合中各数据的数据类型，以确定各数据类型对应的数据集合；

21、所述确定单元，还用于响应于活动对象的创建指令，获取所述活动对象的数据导入逻辑，基于所述数据导入逻辑提取所述活动对象关联的各数据要素，以确定各所述数据要素关联的目标数据集合；

22、存储单元，用于将各所述目标数据集合按照所述数据导入逻辑组装，得到所述活动对象的数据对象，将所述数据对象存储至预设的数据队列。

23、在一个实施例中，所述确定单元，具体用于：

24、识别所述数据导入逻辑中与各所述数据类型匹配的数据要素，建立所述数据要素和所述数据类型的关联关系，以确定各所述数据要素关联的目标数据集合。

25、在一个实施例中，所述确定单元，具体用于：

26、基于所述数据导入逻辑中各数据要素的组合方式和编排方式，以基于所述组合方式将各所述数据要素的目标数据集合组合，得到组合数据集合，基于所述编排方式将各所述组合数据集合编排，得到所述活动对象的数据对象。

27、在一个实施例中，所述确定单元，具体用于：

28、基于所述数据模板提取各历史数据的数据描述，识别各所述数据描述中与活动基础数据关联的关键词，以基于所述关键词确定各所述历史数据的数据类型。

29、在一个实施例中，所述确定单元，具体用于：

30、调用预设的聚类模型，基于所述数据类型对所述历史数据集合聚类，得到各所述数据类型对应的初始数据集合；

31、调用各所述数据类型的排序规则对所述初始数据集合中的数据排序，以确定各数据类型对应的数据集合。

32、在一个实施例中，所述存储单元，还用于：

33、响应于所述数据对象属于第一结构数据，将所述数据对象存储至预设数据库；响应于所述数据对象属于第二结构数据，建立数据对象的索引文件，确定存储位置，将所述数据对象存储至所述存储位置。

34、为实现上述目的，根据本发明实施例的再一个方面，提供了一种电子设备。

35、本发明实施例的一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例提供的数据处理的方法。

36、为实现上述目的，根据本发明实施例的又一个方面，提供了一种计算机可读介质。

37、本发明实施例的一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明实施例提供的数据处理的方法。

38、为实现上述目的，根据本发明实施例的又一个方面，提供了一种计算机程序产品。

39、本发明实施例的一种计算机程序产品，包括计算机程序，所述程序被处理器执行时实现本发明实施例提供的数据处理的方法。

40、上述发明中的一个实施例具有如下优点或有益效果：本发明实施例中，响应于数据导入指令，可以基于数据模板批量导入历史数据集合；获取各历史数据的数据类型，以确定各数据类型对应的数据集合；对活动对象的创建指令，可以获取活动对象的数据导入逻辑，提取数据导入逻辑中的各数据要素，以确定各数据要素关联的目标数据集合；将各目标数据集合按照数据导入逻辑组装，得到活动对象的数据对象，将数据对象存储至预设的数据队列。本发明实施例中，通过数据模板实现对历史数据的批量导入，对导入的历史数据可以根据数据类型划分，以在活动对象的创建时可以将各数据集合进行导入，生成数据对象，如此本发明实施例中，通过批量导入和队列存储，可以及时响应数据导入指令并完成数据导入，减少数据导入的时间消耗，避免占用过多系统资源，提高数据导入的效率。

41、上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。