生成数据同步脚本的方法、装置和电子设备与流程

技术特征：
1.一种生成数据同步脚本的方法，其特征在于，包括：读取数据准备层的各个ods表对应的数据模型；将所述各个ods表对应的数据模型分别提取到字典中；遍历所述字典，并通过脚本生成函数分别生成所述各个ods表对应的数据同步脚本；其中，所述数据同步脚本用于将数据仓库源头系统的数据表实时同步至所述各个ods表。2.根据权利要求1所述的方法，其特征在于，通过脚本生成函数分别生成所述各个ods表对应的数据同步脚本，包括：针对每个ods表，运行脚本生成函数，将所述ods表对应的数据模型输入到所述脚本生成函数中，从而生成所述ods表对应的数据同步脚本。3.根据权利要求1所述的方法，其特征在于，所述数据模型包括ods表的元数据和参数；所述元数据包括库名、表名、列名、字段类型、是否为主键、字段说明、数据项编号和源库字段名；和/或，所述参数包括取数逻辑、entity是否适用普通模板、实时计算rowkey拼接字段、实时计算lastupdatetime字段和operator是否适用普通模板。4.根据权利要求1所述的方法，其特征在于，在所述字典中，主键为ods表名，键值为ods表对应的数据模型。5.根据权利要求4所述的方法，其特征在于，所述数据模型的结构为pandas格式。6.根据权利要求1所述的方法，其特征在于，读取数据准备层的各个ods表对应的数据模型，包括：采用python脚本读取数据准备层的各个ods表对应的数据模型。7.根据权利要求1所述的方法，其特征在于，所述数据同步脚本为java脚本。8.一种生成数据同步脚本的装置，其特征在于，包括：读取模块，用于读取数据准备层的各个ods表对应的数据模型；提取模块，用于将所述各个ods表对应的数据模型分别提取到字典中；生成模块，用于遍历所述字典，并通过脚本生成函数分别生成所述各个ods表对应的数据同步脚本；其中，所述数据同步脚本用于将数据仓库源头系统的数据表实时同步至所述各个ods表。9.根据权利要求8所述的装置，其特征在于，所述生成模块还用于：针对每个ods表，运行脚本生成函数，将所述ods表对应的数据模型输入到所述脚本生成函数中，从而生成所述ods表对应的数据同步脚本。10.根据权利要求8所述的装置，其特征在于，所述数据模型包括ods表的元数据和参数；所述元数据包括库名、表名、列名、字段类型、是否为主键、字段说明、数据项编号和源库字段名；和/或，所述参数包括取数逻辑、entity是否适用普通模板、实时计算rowkey拼接字段、实时计算lastupdatetime字段和operator是否适用普通模板。11.根据权利要求8所述的装置，其特征在于，在所述字典中，主键为ods表名，键值为
ods表对应的数据模型。12.根据权利要求11所述的装置，其特征在于，所述数据模型的结构为pandas格式。13.根据权利要求8所述的装置，其特征在于，所述读取模块还用于：采用python脚本读取数据准备层的各个ods表对应的数据模型。14.根据权利要求8所述的装置，其特征在于，所述数据同步脚本为java脚本。15.一种电子设备，其特征在于，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，所述一个或多个处理器实现如权利要求1-7中任一所述的方法。16.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。17.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的方法。

技术总结
本发明公开了生成数据同步脚本的方法、装置和电子设备，涉及数据存储技术领域。该方法的一具体实施方式包括：读取数据准备层的各个ODS表对应的数据模型；将所述各个ODS表对应的数据模型分别提取到字典中；遍历所述字典，并通过脚本生成函数分别生成所述各个ODS表对应的数据同步脚本；其中，所述数据同步脚本用于将数据仓库源头系统的数据表实时同步至所述各个ODS表。该实施方式能够解决手动开发方式效率较低和测试成本较大的技术问题，该实施例通过定制化的数据模型，只需要预先填写数据模型就可以快速高效地完成ODS表实时同步代码的开发。开发。开发。


技术研发人员：李晓峰 杨志勇 曹海傧
受保护的技术使用者：中国建设银行股份有限公司
技术研发日：2021.12.27
技术公布日：2022/4/1