一体化数据服务方法、装置、设备及存储介质与流程

本申请涉及数据处理，尤其涉及一种一体化数据服务方法、装置、设备及存储介质。

背景技术：

1、在企业数字化转型的过程中，大数据平台扮演着至关重要的角色。大数据平台通过集中化管理企业内部多个系统的数据，并进行海量数据的计算和加工，形成了大量的数据资产。这些数据资产不仅是企业的重要资源，还可以通过数据分析和挖掘，为企业的各个业务条线提供有力的支持，提高业务决策的科学性和效率。

2、目前，企业在利用大数据平台进行数据管理和处理时，一般会采用数据仓库等形式将分散在不同的系统中的数据进行集中存储和管理，然后通过大数据计算框架，如hadoop，对数据进行处理和分析。当数据需要跨系统传输时，一般采用数据的提取、转换和加载(extract,transform,load，简称etl)工具来实现对数据的处理。现有的数据服务技术能够支持从多种数据源中提取数据，并将数据加载到多种目标存储中，以满足数据处理和分析的需求。

3、但由于传统的数据etl工具在处理大规模数据时效率较低，容易成为整个数据服务系统的瓶颈，基于传统的数据etl工具，现有数据服务技术通常需要多个工具来分别完成数据的卸载、压缩、加密和上传等步骤，操作复杂，效率较低。

技术实现思路

1、本申请提供一种一体化数据服务方法、装置、设备及存储介质，用以解决现有技术中数据服务过程中不同的步骤需要依赖不同的数据处理工具来完成，操作复杂、效率较低的问题。

2、第一方面，本申请提供一种一体化数据服务方法，包括：获取数据服务的配置信息，配置信息包括数据源信息和文件存储路径，根据数据源信息进行数据提取，将提取后的数据转换为文件存储路径对应的目标文件格式，生成数据文件，将数据文件按文件存储路径进行存储；获取文件存储路径对应的下游业务，下游业务均预设有独立的文件目录；对文件存储路径中的各数据文件进行加密压缩，获得压缩包；根据压缩包的文件存储路径确认对应的目标文件目录，将压缩包分发至目标文件目录中。

3、在一种可能的设计中，根据数据源信息进行数据提取包括：

4、判获取数据源信息的类型，数据源信息的类型为数据表或结构化查询语言(structured query language，sql)语句；

5、按照数据源信息的类型对应的数据提取方式进行数据提取。

6、在一种可能的设计中，数据源信息的类型为数据表，按照数据源信息的类型对应的数据提取方式进行数据提取包括：

7、从数据表中获取源数据的至少一个目标数据源，以及源数据的分区信息；

8、拼接各目标数据源和分区信息获取源数据存储路径；

9、将各源数据存储路径的数据进行提取并进行合并，获得提取后的数据。

10、在一种可能的设计中，数据源信息的类型为sql语句，按照数据源信息的类型对应的数据提取方式进行数据提取包括：

11、根据sql语句创建临时数据表，将sql查询结果插入临时数据表；

12、从临时数据表中获取源数据的至少一个目标数据源，以及源数据的分区信息；

13、拼接各目标数据源和分区信息获取源数据存储路径；

14、将各源数据存储路径的数据进行提取并进行合并，获得提取后的数据，删除临时数据表。

15、在一种可能的设计中，将提取的数据转换为文件存储路径对应的目标文件格式，包括：

16、对提取后的数据进行预处理，获得预处理后的目标数据；

17、根据文件存储路径获取目标数据分区，根据预设的数据存储规则获取与目标数据分区对应的目标文件格式，数据存储规则包括各数据分区中文件格式的对应关系；

18、将预处理后的目标数据转换为目标文件格式。

19、在一种可能的设计中，在生成数据文件之后，还包括：

20、对数据文件的内容进行读取，判断数据文件的内容是否为空；

21、若是，记录错误日志。

22、在一种可能的设计中，对文件存储路径中的各数据文件进行加密压缩，获得压缩包，包括：

23、基于文件存储路径对应的下游业务生成待加密字符串，采用加密算法根据待加密字符串生成密文；

24、通过密文对数据文件进行加密，获得加密后的文件；

25、对加密后的文件进行压缩，生成压缩包。

26、在一种可能的设计中，下游业务均预设有互不相同的盐值，基于文件存储路径对应的下游业务生成待加密字符串，包括：

27、将下游业务与下游业务对应的盐值进行字符拼接，生成待加密字符串。

28、第二方面，本申请提供一种一体化数据服务装置，包括：数据提取模块，用于获取数据服务的配置信息，配置信息包括数据源信息和文件存储路径，根据数据源信息进行数据提取，将提取后的数据转换为文件存储路径对应的目标文件格式，生成数据文件，将数据文件按文件存储路径进行存储；下游业务确认模块，用于获取文件存储路径对应的下游业务，下游业务均预设有独立的文件目录；加密压缩模块，用于对文件存储路径中的各数据文件进行加密压缩，获得压缩包；分发模块，用于根据压缩包的文件存储路径确认对应的目标文件目录，将压缩包分发至目标文件目录中。

29、第三方面，本申请实施例提供一种电子设备，包括：至少一个处理器和存储器；存储器存储计算机执行指令；至少一个处理器执行存储器存储的计算机执行指令，使得至少一个处理器执行如上第一方面以及第一方面各种可能的设计的一体化数据服务方法。

30、第四方面，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当处理器执行计算机执行指令时，实现如上第一方面以及第一方面各种可能的设计的一体化数据服务方法。

31、第五方面，本申请实施例提供一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时，实现如上第一方面以及第一方面各种可能的设计的一体化数据服务方法。

32、本申请提供的一体化数据服务方法、装置、设备及存储介质，通过获取数据服务的配置信息，配置信息包括数据源信息和文件存储路径，根据数据源信息进行数据提取，将提取后的数据转换为文件存储路径对应的目标文件格式，生成数据文件，将数据文件按文件存储路径进行存储；获取文件存储路径对应的下游业务，下游业务均预设有独立的文件目录对文件存储路径中的各数据文件进行加密压缩，获得压缩包；根据压缩包的文件存储路径确认对应的目标文件目录，将压缩包分发至目标文件目录中，本申请将数据文件的卸载、压缩、加密和上传进行集成，共同构成了一个安全、高效、灵活的一体化数据服务解决方案。

技术特征：

1.一种一体化数据服务方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述根据所述数据源信息进行数据提取包括：

3.根据权利要求2所述的方法，其特征在于，所述数据源信息的类型为数据表，所述按照所述数据源信息的类型对应的数据提取方式进行数据提取包括：

4.根据权利要求2所述的方法，其特征在于，所述数据源信息的类型为sql语句，所述按照所述数据源信息的类型对应的数据提取方式进行数据提取包括：

5.根据权利要求1至4任一所述的方法，其特征在于，所述将提取的数据转换为所述文件存储路径对应的目标文件格式，包括：

6.根据权利要求1至4任一所述的方法，其特征在于，在所述生成数据文件之后，还包括：

7.根据权利要求1至4任一所述的方法，其特征在于，所述对所述文件存储路径中的各数据文件进行加密压缩，获得压缩包，包括：

8.根据权利要求7所述的方法，其特征在于，所述下游业务均预设有互不相同的盐值，所述基于所述文件存储路径对应的下游业务生成待加密字符串，包括：

9.一种一体化数据服务装置，其特征在于，包括：

10.一种电子设备，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器；

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1-8中任一项所述的方法。

12.一种计算机程序产品，其特征在于，包括计算机程序，该计算机程序被处理器执行时实现权利要求1-8中任一项所述的方法。

技术总结本申请提供一种一体化数据服务方法、装置、设备及存储介质，涉及数据处理技术领域。该方法包括：通过获取数据服务的配置信息，配置信息包括数据源信息和文件存储路径，根据数据源信息进行数据提取，将提取后的数据转换为文件存储路径对应的目标文件格式，生成数据文件，将数据文件按文件存储路径进行存储；获取文件存储路径对应的下游业务，下游业务均预设有独立的文件目录对文件存储路径中的各数据文件进行加密压缩，获得压缩包；根据压缩包的文件存储路径确认对应的目标文件目录，将压缩包分发至目标文件目录中。本申请的方法，解决了现有技术中数据服务过程中不同的步骤需要依赖不同的数据处理工具来完成，操作复杂、效率较低的问题。技术研发人员：付敏,张欣,李卓受保护的技术使用者：中国建设银行股份有限公司技术研发日：技术公布日：2024/12/2