一种数据处理方法、装置、设备及介质与流程

技术特征：
1.一种数据处理方法，其特征在于，该方法包括：基于预进行的业务，确定对应的结构化查询语言sql文件；获取配置文件中的配置参数；根据所述配置参数和所述sql文件，确定流式处理引擎flink任务；基于所述配置参数，执行所述flink任务，对获取的待处理数据进行处理。2.如权利要求1所述的方法，其特征在于，所述配置参数包括目标属性和目标属性对应的属性值，所述根据所述配置参数和所述sql文件，确定流式处理引擎flink任务，包括：将所述sql文件中的目标属性使用所述配置参数中的对应的目标属性和属性值替换，得到替换后的sql文件；其中，所述sql文件中的目标属性为未有对应属性值的属性；从所述替换后的sql文件中获取sql语句，并将所述sql语句转化为所述flink任务。3.如权利要求1所述的方法，其特征在于，所述基于所述配置参数，执行所述flink任务之后，所述方法还包括：若所述flink任务执行异常，则基于设定的重试策略对所述flink任务进行重启。4.如权利要求3所述的方法，其特征在于，所述方法还包括：若在设定的第一时间间隔内所述flink任务的重启次数达到设定阈值，且所述flink任务重启失败，则结束所述flink任务；根据所述配置文件，确定所述flink任务编号和检查点信息文件；基于所述flink任务编号，在所述检查点信息文件中确定最近一次成功的检查点信息；基于所述检查点信息，恢复所述flink任务。5.如权利要求1所述的方法，其特征在于，所述配置参数包括并发参数和所需资源参数，所述获取配置文件中的配置参数之后，还包括：若在设定的第二时间间隔内历史待处理数据的数据量大于或等于设定的第一阈值，则增加所述并发参数和所需资源参数中的部分或全部；若在设定的第二时间间隔内历史待处理数据的数据量小于设定的第二阈值，则减少所述并发参数和所需资源参数中的部分或全部，其中，所述第一阈值大于所述第二阈值。6.如权利要求5所述的方法，其特征在于，所述基于所述配置参数，执行所述flink任务，对获取的待处理数据进行处理，包括：基于所述所需资源参数，利用资源管理系统yarn为所述flink任务分配对应的资源；基于所述分配的资源，执行所述flink任务，对获取的待处理数据进行处理。7.一种数据处理装置，其特征在于，该装置包括：第一确定模块，用于基于预进行的业务，确定对应的结构化查询语言sql文件；获取模块，用于获取配置文件中的配置参数；第二确定模块，用于根据所述配置参数和所述sql文件，确定流式处理引擎flink任务；处理模块，用于基于所述配置参数，执行所述flink任务，对获取的待处理数据进行处理。8.如权利要求7所述的装置，其特征在于，所述配置参数包括目标属性和目标属性对应的属性值，所述第二确定模块，用于根据所述配置参数和所述sql文件，确定流式处理引擎flink任务，包括：将所述sql文件中的目标属性使用所述配置参数中的对应的目标属性和属性值替换，
得到替换后的sql文件；其中，所述sql文件中的目标属性为未有对应属性值的属性；从所述替换后的sql文件中获取sql语句，并将所述sql语句转化为所述flink任务。9.如权利要求7所述的装置，其特征在于，所述处理模块用于基于所述配置参数，执行所述flink任务之后，还用于：若所述flink任务执行异常，则基于设定的重试策略对所述flink任务进行重启。10.如权利要求9所述的装置，其特征在于，所述装置还包括：结束模块，用于若在设定的第一时间间隔内所述flink任务的重启次数达到设定阈值，且所述flink任务重启失败，则结束所述flink任务；第三确定模块，用于根据所述配置文件，确定所述flink任务编号和检查点信息文件；第四确定模块，用于基于所述flink任务编号，在所述检查点信息文件中确定最近一次成功的检查点信息；恢复模块，用于基于所述检查点信息，恢复所述flink任务。11.如权利要求7所述的装置，其特征在于，所述配置参数包括并发参数和所需资源参数，所述获取模块用于获取配置文件中的配置参数之后，还用于：若在设定的第二时间间隔内历史待处理数据的数据量大于或等于设定的第一阈值，则增加所述并发参数和所需资源参数中的部分或全部；若在设定的第二时间间隔内历史待处理数据的数据量小于设定的第二阈值，则减少所述并发参数和所需资源参数中的部分或全部，其中，所述第一阈值大于所述第二阈值。12.如权利要求11所述的装置，其特征在于，所述处理模块，用于基于所述配置参数，执行所述flink任务，对获取的待处理数据进行处理，包括：基于所述所需资源参数，利用资源管理系统yarn为所述flink任务分配对应的资源；基于所述分配的资源，执行所述flink任务，对获取的待处理数据进行处理。13.一种电子设备，其特征在于，包括：存储器，用于存储程序指令；处理器，用于调用所述存储器中存储的程序指令，按照获得的程序指令执行权利要求1-6中任一项所述的方法包括的步骤。14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被计算机执行时，使所述计算机执行如权利要求1-6中任一项所述的方法。15.一种计算机程序产品，其特征在于，所述计算机程序产品包括：计算机程序代码，当所述计算机程序代码在计算机上运行时，使得计算机执行上述如权利要求1-6中任一项所述的方法。

技术总结
本申请涉及数据处理领域，具体涉及一种数据处理方法、装置、设备及介质，用于解决现有利用流式处理引擎flink进行流处理/批处理的方法，需要深入了解flink内部开发原理，才能定制化开发每种业务逻辑，使得开发工作较复杂的问题。该方法包括：基于预进行的业务，确定对应的结构化查询语言SQL文件；获取配置文件中的配置参数；根据所述配置参数和所述SQL文件，确定flink任务；基于所述配置参数，执行所述flink任务，对获取的待处理数据进行处理。对获取的待处理数据进行处理。对获取的待处理数据进行处理。


技术研发人员：谢建波 陈帆 陈琳
受保护的技术使用者：建信金融科技有限责任公司
技术研发日：2022.09.19
技术公布日：2022/12/16