数据转换方法、装置、计算机设备及存储介质与流程

本申请涉及数据处理，尤其涉及一种数据转换方法、装置、计算机设备及存储介质。

背景技术：

1、随着金融市场的快速发展，周边运维运营系统与交易系统之间的数据交互变得日益复杂。其中，交易系统依赖的数据种类繁多，包括账户数据、参数数据、交易数据、业务数据等，而周边运维运营系统数据一般存储在传统的关系型数据库中，这样会导致交易系统直接加载起来会非常复杂，而且一旦周边运维运营系统有变更对交易系统也有影响。

2、目前，传统的数据文件转换方案多采用硬编码实现转换逻辑，逐项读取文件，解析文件内容。其中，逐行数据进行处理转换，追加写入到新格式文件中，直到数据处理完毕，可知该传统数据文件转换方案的处理效率低下且扩展性不强。

技术实现思路

1、本申请实施例提供了一种数据转换方法、装置、计算机设备及存储介质，旨在解决现有的数据文件转换方案处理效率低下以及扩展性不强的问题。

2、第一方面，本申请实施例提供了 一种数据转换方法，应用于证券业务系统，所述方法包括：

3、当接收到配置名列表读取指令时，从数据模型中读取目标配置名列表；

4、若检测到任务并发处理指令，则根据所述任务并发处理指令将所述目标配置名列表中的每个配置名分配至并发线程池中；

5、调用所述并发线程池中与每个配置名对应的并发线程，并根据各并发线程获取与每个配置名对应的第一空文件，查找与每个配置名对应的预设转换配置，及读取与每个配置名对应的第一源数据；

6、根据各并发线程，按照预设分片规则和与每个配置名对应的预设转换配置对与每个配置名对应的第一源数据进行处理，得到与每个第一源数据对应的第一转换数据；

7、根据各并发线程，将与每个第一源数据对应的第一转换数据写入至对应的第一空文件中，生成与每个第一源数据对应的第一转换文件。

8、第二方面，本申请实施例提供了一种数据转换装置，所述装置包括：

9、读取单元，用于当接收到配置名列表读取指令时，从数据模型中读取目标配置名列表；

10、分配单元，用于若检测到任务并发处理指令，则根据所述任务并发处理指令将所述目标配置名列表中的每个配置名分配至并发线程池中；

11、调用单元，用于调用所述并发线程池中与每个配置名对应的并发线程，并根据各并发线程获取与每个配置名对应的第一空文件，查找与每个配置名对应的预设转换配置，及读取与每个配置名对应的第一源数据；

12、数据处理单元，用于根据各并发线程，按照预设分片规则和与每个配置名对应的预设转换配置对与每个配置名对应的第一源数据进行处理，得到与每个第一源数据对应的第一转换数据；

13、生成单元，用于根据各并发线程，将与每个第一源数据对应的第一转换数据写入至对应的第一空文件中，生成与每个第一源数据对应的第一转换文件。

14、第三方面，本申请实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的数据转换方法。

15、第四方面，本申请实施例还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的数据转换方法。

16、本申请实施例提供了一种本申请提供了一种数据转换方法、装置、计算机设备及存储介质，通过调用并发线程池中与每个配置名对应的并发线程，根据各并发线程获取与每个配置名对应的第一空文件，查找与每个配置名对应的预设转换配置及读取与每个配置名对应的第一源数据；按照预设分片规则和对应的预设转换配置对与每个配置名对应的第一源数据进行处理，得到与每个第一源数据对应的第一转换数据；将与每个第一源数据对应的第一转换数据写入至对应的第一空文件中，生成与每个第一源数据对应的第一转换文件。从而实现对目标配置名列表中的每个配置名进行并发转换处理，提高了数据转换效率；并通过修改数据模型即可实现第一源数据的变更，使得扩展性更强。

技术特征：

1.一种数据转换方法，应用于证券业务系统，其特征在于，所述方法包括：

2.根据权利要求1所述的数据转换方法，其特征在于，所述按照预设分片规则和与每个配置名对应的预设转换配置对与每个配置名对应的第一源数据进行处理，得到与每个第一源数据对应的第一转换数据，包括：

3.根据权利要求1所述的数据转换方法，其特征在于，所述证券业务系统还包括核心交易系统和数据库，所述从数据模型中读取目标配置名列表之前，还包括：

4.根据权利要求3所述的数据转换方法，其特征在于，所述根据所述目标数据库列表生成预设转换配置集，包括：

5.根据权利要求1所述的数据转换方法，其特征在于，所述从数据模型中读取目标配置名列表，包括：

6.根据权利要求1所述的数据转换方法，其特征在于，所述从数据模型中读取目标配置名列表之后，还包括：

7.根据权利要求2所述的数据转换方法，其特征在于，所述方法还包括：

8.一种数据转换装置，其特征在于，所述装置包括：

9.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的数据转换方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如权利要求1至7任一项所述的数据转换方法。

技术总结本申请提供了一种数据转换方法、装置、计算机设备及存储介质，通过调用并发线程池中与每个配置名对应的并发线程，根据各并发线程获取与每个配置名对应的第一空文件，查找与每个配置名对应的预设转换配置及读取与每个配置名对应的第一源数据；按照预设分片规则和对应的预设转换配置对与每个配置名对应的第一源数据进行处理，得到与每个第一源数据对应的第一转换数据；将与每个第一源数据对应的第一转换数据写入至对应的第一空文件中，生成与每个第一源数据对应的第一转换文件。从而实现对目标配置名列表中的每个配置名进行并发转换处理，提高了数据转换效率；并通过修改数据模型即可实现第一源数据的变更，使得扩展性更强。技术研发人员：刘小广,罗波,何磊,洪磊明受保护的技术使用者：深圳华锐分布式技术股份有限公司技术研发日：技术公布日：2024/9/29