一种支持并行处理的数据转换设计方法、设备及介质与流程

技术特征：
1.一种支持并行处理的数据转换设计方法，其特征在于，包括：确定数据转换任务，所述数据转换任务用于将来源数据的数据结构转换为目标数据的数据结构；确定所述数据转换任务需要执行的若干个步骤及所述若干个步骤之间的步骤顺序；将所述若干个步骤对应的代码作为热点代码进行即时编译；确定已有的线程数量，并确定所述线程的工作状态，所述线程的工作状态至少包括空闲状态及占用状态；将所述线程分配给所述若干个步骤，用以执行对应的步骤，以生成中间数据；将所述中间数据推送至队列中，以使按照所述步骤顺序的下一个步骤对应的所述线程通过调用所述中间数据，执行所述下一个步骤。2.根据权利要求1所述的方法，其特征在于，将所述若干个步骤对应的代码作为热点代码进行即时编译，具体包括：根据所述数据转换任务中所述来源数据及所述目标数据的数据结构，以及所述数据转换任务的精度要求，确定所述数据处理规则；所述数据处理规则包括数据过滤规则、分组聚合规则、字段映射规则中的至少一种；将所述若干个步骤中分别对应的所述数据处理规则，作为所述热点代码进行即时编译；所述若干个步骤至少包括：数据输入步骤、数据处理步骤、数据输出步骤；所述数据处理步骤至少包括：数据清洗子步骤、数据分组子步骤、字段计算子步骤、字段映射子步骤中的至少一种。3.根据权利要求2所述的方法，其特征在于，所述数据输入步骤，具体包括：根据所述来源数据的所述数据结构，提供相应所述数据结构的转换接口，以将所述来源数据在所述数据输入步骤时，转换为通用数据结构；根据所述通用数据结构配置所述数据转换任务的所述数据处理规则。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：统计执行所述数据转换任务时，除所述若干个步骤对应的代码以外，其余若干行代码分别对应的重复执行次数；若所述代码对应的重复执行次数大于预设次数，则将所述代码作为所述热点代码进行即时编译，并将编译后的代码存储在代码缓存中。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：监测所述代码缓存的剩余存储空间，当所述剩余存储空间小于预设空间阈值时，发出告警信息，以使工作人员扩大所述代码缓存的存储空间。6.根据权利要求2所述的方法，其特征在于，所述方法还包括：在所述数据转换任务开始后的预设时间段内，确定所述数据输入步骤对应的线程的所述工作状态为占用状态，且存在所述线程的所述工作状态为所述空闲状态；将所述工作状态为所述空闲状态的所述线程对应的步骤改为数据输入步骤。7.根据权利要求2所述的方法，其特征在于，所述方法还包括：确定所述线程处于所述空闲状态的持续时间，若所述持续时间超过预设时间阈值，则将所述线程设置为自由线程。
8.根据权利要求7所述的方法，其特征在于，所述方法还包括：获取所述若干个步骤分别对应的线程的工作量；确定所述工作量高于预设阈值，挑选处于空闲状态的自由线程分担所述线程的工作量。9.一种支持并行处理的数据转换设计设备，其特征在于，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行：确定数据转换任务；所述数据转换任务用于将来源数据的数据结构转换为目标数据的数据结构；确定所述数据转换任务需要执行的若干个步骤及所述若干个步骤之间的步骤顺序；将所述若干个步骤对应的代码作为热点代码进行即时编译；确定已有的线程数量，并确定所述线程的工作状态，所述线程的工作状态至少包括空闲状态及占用状态；将所述线程分配给所述若干个步骤，用以执行对应的步骤，以生成中间数据；将所述中间数据推送至队列中，以使按照所述步骤顺序的下一个步骤对应的所述线程通过调用所述中间数据，执行所述下一个步骤。10.一种非易失性计算机存储介质，存储有计算机可执行指令，其特征在于，所述计算机可执行指令设置为：确定数据转换任务；所述数据转换任务用于将来源数据的数据结构转换为目标数据的数据结构；确定所述数据转换任务需要执行的若干个步骤及所述若干个步骤之间的步骤顺序；将所述若干个步骤对应的代码作为热点代码进行即时编译；确定已有的线程数量，并确定所述线程的工作状态，所述线程的工作状态至少包括空闲状态及占用状态；将所述线程分配给所述若干个步骤，用以执行对应的步骤，以生成中间数据；将所述中间数据推送至队列中，以使按照所述步骤顺序的下一个步骤对应的所述线程通过调用所述中间数据，执行所述下一个步骤。

技术总结
本申请公开了一种支持并行处理的数据转换设计方法、设备及介质，方法包括：确定数据转换任务；数据转换任务用于将来源数据的数据结构转换为目标数据的数据结构；确定数据转换任务需要执行的若干个步骤及若干个步骤之间的步骤顺序；将若干个步骤对应的代码作为热点代码进行即时编译；确定已有的线程数量，并确定线程的工作状态，线程的工作状态至少包括空闲状态及占用状态；将线程分配给所述若干个步骤，用以执行对应的步骤，以生成中间数据；将中间数据推送至队列中，以使按照所述步骤顺序的下一个步骤对应的线程通过调用所述中间数据，执行所述下一个步骤。本申请提供的方法能够屏蔽数据结构和数据库类型的差异，并缩短数据转换任务的时耗。换任务的时耗。换任务的时耗。


技术研发人员：王泽浩
受保护的技术使用者：浪潮通用软件有限公司
技术研发日：2021.09.28
技术公布日：2022/1/3