一种数据标准落标的方法、装置、介质和设备与流程

本发明涉及数据治理，尤其涉及一种数据标准落标的方法、装置、介质和设备。

背景技术：

1、随着数据化和信息化建设的发展，企业机构的信息化体系中拥有着种类繁多、体量庞大的各类数据。为了提高数据资产管理能力，通常会构建数据标准体系来对数据进行管理。数据标准是指对数据的表达、格式及定义等内容的一致约定。数据标准落标指的是在新建系统或重构系统时，要求技术部门使用数据标准进行系统的构建，在实际应用场景下将数据标准落地。在现有的数据标准落标的过程中，通常仅是下发数据标准的相关要求，指示各个技术部门按照要求进行数据标准落标。

2、目前，我国银行业数据治理工作已开展多年，针对数据标准管理工作也有了初步的框架和计划。然而，数据标准的落标工作仍不是很理想，原因可能是银行业经营时间久、各版块的历史数据量级大，导致存量系统中数据的固定模式已经形成且难以改变。存量系统落标的传统方法就是拿着源码一点一点地修改，梳理的过程极为耗时和痛苦，不仅数据标准落标的效率低下，还要面临给系统增添新的缺陷(bug)的风险。

技术实现思路

1、有鉴于此，本发明实施例的目的在于提供一种数据标准落标的方法、装置、介质和设备，以解决现有技术的数据标准的落标效率低下，且容易引进新的问题的风险。

2、为达到上述目的，第一方面，本发明提供一种标准数据落标方法，所述方法包括：

3、拦截待执行的sql语句；

4、根据数据模型与模型映射文件进行对比获得所述数据模型中的标准字段与数据库字段的对应关系；

5、根据所述对应关系判断所述待执行的sql语句是否需要改写；

6、当判断所述待执行的sql语句需要改写时，将所述待执行的sql语句修改为符合数据落标标准的sql语句。

7、在一些可能的实施方式中，在所述的将所述待执行的sql语句修改为符合数据落标标准的sql语句之后，所述方法还包括：

8、将获得的符合数据落标标准的sql语句写入所述模型映射文件。

9、在一些可能的实施方式中，所述的当判断所述待执行的sql语句需要改写时，将所述待执行的sql语句修改为符合数据落标标准的sql语句，具体包括：

10、判断所述待执行的sql语句是否命中sql映射配置；

11、如果所述待执行的sql语句命中映射配置，则直接将所述待执行的sql语句替换为符合数据落标标准的sql语句；

12、如果所述待执行的sql语句没有命中sql映射配置，则解析所述待执行的sql语句，获取所述待执行的sql语句的组成字段，将所述组成字段中需要改写的组成字段改写为符合数据落标标准的字段，生成符合数据落标标准的sql语句。

13、在一些可能的实施方式中，所述的解析所述待执行的sql语句，获取所述待执行的sql语句的组成字段，将所述组成字段中需要改写的组成字段改写为符合数据落标标准的字段，生成符合数据落标标准的sql语句，具体包括：

14、解析所述待执行的sql语句，获取所述待执行的sql语句的组成字段中的表名和列名；

15、根据所述表名判断所述待执行的sql语句是否命中改写配置，如果命中改写配置，则将所述列名改写为符合数据落标标准的列名。

16、第二方面，本发明实施例还提供了一种标准数据落标的装置，所述装置包括：

17、拦截模块，用于拦截待执行的sql语句；

18、对比模块，用于将数据模型与模型映射文件进行对比获得所述数据模型中的标准字段与数据库字段的对应关系；

19、判断模块，用于根据所述对应关系判断所述待执行的sql语句是否需要改写；

20、修改模块，用于当判断所述待执行的sql语句需要改写时，将所述待执行的sql语句修改为符合数据落标标准的sql语句。

21、在一些可能的实施方式中，所述修改模块：还用于将获得的符合数据落标标准的sql语句写入所述模型映射文件。

22、在一些可能的实施方式中，所述修改模块具体包括：

23、判断子模块，用于判断所述待执行的sql语句是否命中sql映射配置；

24、第一执行子模块，如果所述待执行的sql语句命中映射配置，所述第一执行子模块用于直接将所述待执行的sql语句替换为符合数据落标标准的sql语句；

25、第二执行子模块，如果所述待执行的sql语句没有命中sql映射配置，所述第二执行子模块用于解析所述待执行的sql语句，获取所述待执行的sql语句的组成字段，将所述组成字段中需要改写的组成字段改写为符合数据落标标准的字段，生成符合数据落标标准的sql语句。

26、在一些可能的实施方式中，所述第二执行子模块具体用于：

27、解析所述待执行的sql语句，获取所述待执行的sql语句的组成字段中的表名和列名；

28、根据所述表名判断所述待执行的sql语句是否命中改写配置，如果命中改写配置，则将所述列名改写为符合数据落标标准的列名。

29、第三方面，本发明实施例提供了一种电子设备，包括：

30、一个或多个处理器；

31、存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面任意一种所述的方法。

32、第四方面，本发明实施例提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面任意一种所述的方法。

33、上述技术方案具有如下有益效果：

34、本发明提供了一种人工智能的数据建模方法、装置、介质和设备，该方法包括拦截待执行的sql语句；根据数据模型与模型映射文件进行对比获得所述数据模型中的标准字段与数据库字段的对应关系，根据所述对应关系判断所述待执行的sql语句是否需要改写；当判断所述待执行的sql语句需要改写时，将所述待执行的sql语句修改为符合数据落标标准的sql语句。本发明通过拦截sql语句，完成sql语句的改写并适配现有代码，以在技术层面修改数据库字段，达到统一数据标准的目的，提高数据落标效率同时还可以避免引进新的问题。

技术特征：

1.一种标准数据落标的方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，在所述的将所述待执行的sql语句修改为符合数据落标标准的sql语句之后，所述方法还包括：

3.根据权利要求1所述的方法，其特征在于，所述的当判断所述待执行的sql语句需要改写时，将所述待执行的sql语句修改为符合数据落标标准的sql语句，具体包括：

4.根据权利要求3所述的方法，其特征在于，所述的解析所述待执行的sql语句，获取所述待执行的sql语句的组成字段，将所述组成字段中需要改写的组成字段改写为符合数据落标标准的字段，生成符合数据落标标准的sql语句，具体包括：

5.一种标准数据落标的装置，其特征在于，所述装置包括：

6.根据权利要求5所述的装置，其特征在于，所述修改模块还用于：

7.根据权利要求5所述的装置，其特征在于，所述修改模块具体包括：

8.根据权利要求7所述的装置，其特征在于，所述第二执行子模块具体用于：

9.一种电子设备，其特征在于，包括：

10.一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-4中任一所述的方法。

技术总结本发明提供一种数据标准落标的方法、装置、介质和设备，该方法包括拦截待执行的sql语句；根据数据模型与模型映射文件进行对比获得所述数据模型中的标准字段与数据库字段的对应关系，根据所述对应关系判断所述待执行的sql语句是否需要改写；当判断所述待执行的sql语句需要改写时，将所述待执行的sql语句修改为符合数据落标标准的sql语句。本发明通过拦截sql语句，完成sql语句的改写并适配现有代码，以在技术层面修改数据库字段，达到统一数据标准的目的，提高数据落标效率同时还可以避免引进新的问题。技术研发人员：王亚飞受保护的技术使用者：北京宇信科技集团股份有限公司技术研发日：技术公布日：2024/7/29