数据仓库的数据处理方法、装置、存储介质及电子设备与流程

本发明涉及金融科技领域或其他相关领域，具体而言，涉及一种数据仓库的数据处理方法、装置、存储介质及电子设备。

背景技术：

1、在金融机构各交易系统国产化改造过程中，新旧系统并发运行，同时产生数据文件下传数据仓库，在新系统未稳定前，数据仓库需要只使用旧系统的文件数据，且数据仓库虽然接收新系统数据文件，但不依赖于新系统文件的下传。在新旧系统切换的情况下，数据仓库也存在一个切源的过程。目前，相关技术中通过人工对数据仓库的数据来源进行切换，效率较低，且稳定性和可靠性较低。

2、针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

1、本发明实施例提供了一种数据仓库的数据处理方法、装置、存储介质及电子设备，以至少解决现有技术中通过人工对数据仓库的数据来源进行切换，存在数据仓库的切源效率较低的技术问题。

2、根据本发明实施例的一个方面，提供了一种数据仓库的数据处理方法，包括：接收目标交易系统发送的目标数据文件，其中，目标交易系统为以下至少之一：新交易系统、旧交易系统，目标数据文件为以下至少之一：新交易系统的数据文件、旧交易系统的数据文件；基于目标数据文件对应的目标加载作业将目标数据文件中的交易数据映射至目标数据文件对应的目标数据表，并基于目标数据表创建目标数据表对应的目标视图；获取开关表，基于第一加载作业和开关表从目标视图中确定待进行数据加载的视图，并将待进行数据加载的视图中的交易数据加载至第一数据表，其中，开关表用于确定是否对数据仓库的数据来源进行切换，第一加载作业与目标加载作业在数据仓库中对应不同的数据层。

3、进一步地，基于第一加载作业和开关表从目标视图中确定待进行数据加载的视图，包括：基于第一加载作业获取当前日期；对当前日期与开关表中的预设日期进行比较，得到比较结果，其中，预设日期用于表征对数据仓库的数据来源进行切换的日期；依据比较结果从目标视图中确定待进行数据加载的视图。

4、进一步地，依据比较结果从目标视图中确定待进行数据加载的视图，包括：依据比较结果从开关表中确定目标有效数据，其中，目标有效数据用于表征对数据进行处理的依据；依据目标有效数据中包含的目标标识信息从目标视图中确定待进行数据加载的视图。

5、进一步地，目标有效数据为以下之一：第一条数据、第二条数据，第一条数据与第二条数据指向的数据来源不同，其中，依据比较结果从开关表中确定目标有效数据，包括：若比较结果表征当前日期小于预设日期，则将第一条数据作为目标有效数据；若比较结果表征当前日期大于等于预设日期，则将第二条数据作为目标有效数据。

6、进一步地，目标标识信息为以下之一：新交易系统标识信息、旧交易系统标识信息，目标视图为以下之一：新交易系统的数据文件对应的数据表对应的视图、旧交易系统的数据文件对应的数据表对应的视图，其中，依据目标有效数据中包含的目标标识信息从目标视图中确定待进行数据加载的视图，包括：若目标有效数据为第一条数据，则依据第一条数据中包含的旧交易系统标识信息确定待进行数据加载的视图为旧交易系统的数据文件对应的数据表对应的视图；若目标有效数据为第二条数据，则依据第二条数据中包含的新交易系统标识信息确定待进行数据加载的视图为新交易系统的数据文件对应的数据表对应的视图。

7、进一步地，在接收目标交易系统发送的目标数据文件之前，该方法还包括：构建新交易系统表名字段、旧交易系统表名字段、系统标识字段、开关指向字段、开始日期字段、结束日期字段以及第一加载作业的作业名字段，其中，开关指向字段用于定义数据加载来源；依据新交易系统表名字段、旧交易系统表名字段、系统标识字段、开关指向字段、开始日期字段、结束日期字段以及第一加载作业的作业名字段组成开关表；对开关表中的字段进行参数配置，生成第一条数据和第二条数据。

8、进一步地，目标加载作业为以下至少之一：新交易系统的数据文件对应的加载作业、旧交易系统的数据文件对应的加载作业，目标数据表为以下至少之一：新交易系统的数据文件对应的数据表、旧交易系统的数据文件对应的数据表，其中，基于目标数据文件对应的目标加载作业将目标数据文件中的交易数据映射至目标数据文件对应的目标数据表，包括：基于新交易系统的数据文件对应的加载作业将新交易系统的数据文件中的交易数据映射至新交易系统的数据文件对应的数据表；基于旧交易系统的数据文件对应的加载作业将旧交易系统的数据文件中的交易数据映射至旧交易系统的数据文件对应的数据表。

9、根据本发明实施例的另一方面，还提供了一种数据仓库的数据处理装置，包括：接收模块，用于接收目标交易系统发送的目标数据文件，其中，目标交易系统为以下至少之一：新交易系统、旧交易系统，目标数据文件为以下至少之一：新交易系统的数据文件、旧交易系统的数据文件；处理模块，用于基于目标数据文件对应的目标加载作业将目标数据文件中的交易数据映射至目标数据文件对应的目标数据表，并基于目标数据表创建目标数据表对应的目标视图；确定模块，用于获取开关表，基于第一加载作业和开关表从目标视图中确定待进行数据加载的视图，并将待进行数据加载的视图中的交易数据加载至第一数据表，其中，开关表用于确定是否对数据仓库的数据来源进行切换，第一加载作业与目标加载作业在数据仓库中对应不同的数据层。

10、根据本发明实施例的另一方面，还提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现上述的数据仓库的数据处理方法。

11、根据本发明实施例的另一方面，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，计算机程序被设置为运行时执行上述的数据仓库的数据处理方法。

12、根据本发明实施例的另一方面，还提供了一种电子设备，该电子设备包括一个或多个处理器；存储器，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现用于运行程序，其中，程序被设置为运行时执行上述的数据仓库的数据处理方法。

13、在本发明实施例中，采用依据开关表确定数据的加载来源，实现对数据来源的自动切换的方式，首先接收目标交易系统发送的目标数据文件，其中，目标交易系统为以下至少之一：新交易系统、旧交易系统，目标数据文件为以下至少之一：新交易系统的数据文件、旧交易系统的数据文件；基于目标数据文件对应的目标加载作业将目标数据文件中的交易数据映射至目标数据文件对应的目标数据表，并基于目标数据表创建目标数据表对应的目标视图；获取开关表，基于第一加载作业和开关表从目标视图中确定待进行数据加载的视图，并将待进行数据加载的视图中的交易数据加载至第一数据表，其中，开关表用于确定是否对数据仓库的数据来源进行切换，第一加载作业与目标加载作业在数据仓库中对应不同的数据层。

14、在上述过程中，通过创建目标数据表对应的目标视图，为通过加载视图实现数据加载提供了基础，从而降低了数据仓库与上游系统的耦合，降低了各模块之间的关联程度，通过基于第一加载作业和开关表从目标视图中确定待进行数据加载的视图，实现了对数据仓库的数据来源的自动切换，节省了时间成本和人力成本，提高了数据仓库的切源效率，并且，提高了切源稳定性和可靠性。

15、由此可见，通过本发明的技术方案，达到了数据仓库低耦合自动化切源的目的，从而实现了提高数据仓库的切源效率的技术效果，进而解决了现有技术中通过人工对数据仓库的数据来源进行切换，存在数据仓库的切源效率较低的技术问题。