产品业务数据的处理方法、装置、计算机设备和介质与流程

本公开的实施例涉及数据处理，具体地，涉及适用于一种产品业务数据的处理方法、装置、计算机设备和介质。

背景技术：

1、随着互联网的发展、数据量成几何倍数的增长，业务数据的种类、格式繁多，对接业务数据在项目工作中占据重要的地位。

2、传统的数据处理过程中，对接数据采集格式的多样性需要编写大量的逻辑代码，同时，随着业务的变更调整，带来了数据对接的复杂性，在数据存储时，需要根据不同格式进行逻辑代码的修改，增大数据存储难度。

技术实现思路

1、本文中描述的实施例提供了一种产品业务数据的处理方法、装置、计算机设备和介质，克服了上述问题。

2、第一方面，根据本公开的内容，提供了一种产品业务数据的处理方法，包括：

3、获取产品业务数据，所述产品业务数据用于描述采集得到的上游业务数据；

4、基于预设数据字段模版对所述产品业务数据进行数据预处理，得到文本业务数据，所述预设数据字段模版用于约束所述产品业务数据的数据格式以及所述产品业务数据中的数据分隔符，所述数据分隔符用于对所述产品业务数据进行分段划分；

5、对所述文本业务数据进行存储格式匹配，得到所述文本业务数据对应的目标存储格式；

6、基于所述文本业务数据对应的所述目标存储格式，对所述文本业务数据进行数据整合，得到数据存储格式满足所述目标存储格式的目标业务数据；

7、获取所述目标存储格式对应的目标数据库；

8、将所述目标业务数据存储至所述目标数据库；

9、其中，所述目标数据库为如下一种：第一数据库、第二数据库和第三数据库，所述第一数据库用于描述存储全量数据，所述第二数据库用于描述存储分析数据，所述第三数据库用于描述存储索引数据，所述第三数据库与所述第一数据库之间具有数据索引关联性。

10、第二方面，根据本公开的内容，提供了一种产品业务数据的处理装置，包括：

11、第一获取模块，用于获取产品业务数据，所述产品业务数据用于描述采集得到的上游业务数据；

12、预处理模块，用于基于预设数据字段模版对所述产品业务数据进行数据预处理，得到文本业务数据，所述预设数据字段模版用于约束所述产品业务数据的数据格式以及所述产品业务数据中的数据分隔符，所述数据分隔符用于对所述产品业务数据进行分段划分；

13、匹配模块，用于对所述文本业务数据进行存储格式匹配，得到所述文本业务数据对应的目标存储格式；

14、整合模块，用于基于所述文本业务数据对应的所述目标存储格式，对所述文本业务数据进行数据整合，得到数据存储格式满足所述目标存储格式的目标业务数据；

15、第二获取模块，用于获取所述目标存储格式对应的目标数据库；

16、存储模块，用于将所述目标业务数据存储至所述目标数据库；

17、其中，所述目标数据库为如下一种：第一数据库、第二数据库和第三数据库，所述第一数据库用于描述存储全量数据，所述第二数据库用于描述存储分析数据，所述第三数据库用于描述存储索引数据，所述第三数据库与所述第一数据库之间具有数据索引关联性。

18、第三方面，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，处理器执行计算机程序时实现如以上任意一个实施例中产品业务数据的处理方法的步骤。

19、第四方面，提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如以上任意一个实施例中产品业务数据的处理方法的步骤。

20、本申请实施例提供的产品业务数据的处理方法，获取产品业务数据，产品业务数据用于描述采集得到的上游业务数据；基于预设数据字段模版对产品业务数据进行数据预处理，得到文本业务数据，预设数据字段模版用于约束产品业务数据的数据格式以及产品业务数据中的数据分隔符，数据分隔符用于对产品业务数据进行分段划分；对文本业务数据进行存储格式匹配，得到文本业务数据对应的目标存储格式；基于文本业务数据对应的目标存储格式，对文本业务数据进行数据整合，得到数据存储格式满足目标存储格式的目标业务数据；获取目标存储格式对应的目标数据库；将目标业务数据存储至目标数据库；其中，目标数据库为如下一种：第一数据库、第二数据库和第三数据库，第一数据库用于描述存储全量数据，第二数据库用于描述存储分析数据，第三数据库用于描述存储索引数据，第三数据库与第一数据库之间具有数据索引关联性。如此，通过预先设置好的预设数据字段模版对采集到的产品业务数据进行模版格式统一，并将统一后得到的文本业务数据按照其对应的目标存储格式存储至相应的目标数据库中，生成符合内部处理数据的格式来对业务数据进行存储，便于简化数据存储过程，有效降低数据存储难度。

21、上述说明仅是本申请实施例技术方案的概述，为了能够更清楚了解本申请实施例的技术手段，而可依照说明书的内容予以实施，并且为了让本申请实施例的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

技术特征：

1.一种产品业务数据的处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述文本业务数据对应有属性标签；

3.根据权利要求1所述的方法，其特征在于，所述获取所述目标存储格式对应的目标数据库，包括：

4.根据权利要求1所述的方法，其特征在于，所述获取产品业务数据，包括：

5.根据权利要求1所述的方法，其特征在于，在所述目标数据库为所述第一数据库时，所述目标业务数据对应有数据查询时段；

6.根据权利要求5所述的方法，其特征在于，所述响应于所述数据内容查询请求，判断所述数据内容查询请求的发送时间点是否处于所述目标业务数据对应的数据查询时段中之后，还包括：

7.根据权利要求1所述的方法，其特征在于，在所述目标数据库为所述第三数据库时，所述将所述目标业务数据存储至所述目标数据库之后，还包括：

8.一种产品业务数据的处理装置，其特征在于，包括：

9.一种计算机设备，其特征在于，包括存储器和处理器，存储器中存储有计算机程序，处理器执行计算机程序时实现如权利要求1～7中任一所述的产品业务数据的处理方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，计算机程序被处理器执行时实现如权利要求1～7中任一所述的产品业务数据的处理方法。

技术总结本公开提供一种产品业务数据的处理方法、装置、计算机设备和介质，包括：获取产品业务数据；基于预设数据字段模版对产品业务数据进行数据预处理，得到文本业务数据；对文本业务数据进行存储格式匹配，得到文本业务数据对应的目标存储格式；基于文本业务数据对应的目标存储格式，对文本业务数据进行数据整合，得到数据存储格式满足目标存储格式的目标业务数据；获取目标存储格式对应的目标数据库；将目标业务数据存储至目标数据库。从而，便于简化数据存储过程，有效降低数据存储难度。技术研发人员：史延莹,纪广正受保护的技术使用者：紫金诚征信有限公司技术研发日：技术公布日：2024/12/2