一种数据关联运算处理的方法与流程

本发明涉及数据运算领域，尤其涉及一种数据关联运算处理的方法。

背景技术：

1、在数据运算领域，由于其专业性强，一直由技术人员通过编写相关程序代码进行数据开发。一方面，由于业务人员专注于业务层面，一般不太懂数据底层逻辑，因此对所提出的业务口径需求实现的难易程度是容易被忽略的，而更在乎的是尽快拿到结果；另一方面，技术人员专注于数据层面，技术能力水平以及对复杂业务逻辑的理解程度也是参差不齐。技术人员基于对业务口径和底层数据的理解，与需求人员反复沟通确认，再进行相关代码开发，代码调试、代码运行，最终得到数据运算结果，人为理解偏差或编码出错可能还需要重新来一遍上述流程；由此可见，这种双方的认知壁垒无形中耗费了大量的沟通成本以及时间成本，且目前尚无较好的解决方案。

技术实现思路

1、本申请提供一种数据关联运算处理的方法，为解决数据运算处理效率较低和工作流程成本较高的问题。

2、本申请提供了一种数据关联运算处理的方法，包括以下步骤：

3、步骤(1).构建深度学习算法对部署环境中的样本进行训练，生成数据关联运算处理模型；

4、步骤(2).解析数据实体及数据实体技术特征之间的关联映射关系；

5、步骤(3).自动生成并执行数据运算逻辑代码，缓存数据运算结果；

6、步骤(4).算法模型自我优化和迭代；

7、步骤(5).开放api接口，与外部应用进行交互。

8、所述方法中，深度学习（deep learning）是指具有大量参数和层数的神经网络，具体算法包括但不限于反向传播、前馈神经网络(fnn)、卷积神经网络(cnn)、循环神经网络(rnn)、递归神经网络、自动编码器、深度信念网络和受限玻尔兹曼机、生成对抗网络(gan)、transformers和图神经网络；部署环境是指该方法实现所需要或所处的一系列软件、硬件环境的统称；样本是指部署环境中的数据实体合集，包括但不限于数据库表/视图、图表、文档文件、元数据、脚本、程序代码及注释、数据字典、数据映射拓扑图、业务口径、日志和历史运行记录；数据关联运算处理模型是以实现数据关联运算为目标、构建适应于所述方法的深度学习算法、以多种贴合数据运算逻辑的样本为基础训练生成的，因而具有极高的精准度，数据关联运算处理模型整合了所述样本数据画像信息，包括但不限于参数、特征、公式、语义、规则、逻辑和内在联系。

9、所述方法中，数据实体是指一种具体的技术对象，上述已经说明不再阐述；数据实体技术特征包括但不限于数据的规范和标准、存储空间、分布、字段类型、字段名称、实体类型、实体名称、数据值、阈值、单位、长度、精度、时间序列、颗粒度、时效性、完整性、文档名称、文档内容、代码类型、代码长度、使用次数、使用频率、用途、描述、来源、去向、映射关系、数据权限、安全等级；解析数据实体及数据实体技术特征之间的关联映射关系，要素包括但不限于：确定数据源、关联条件和关联方式；确定标签、维度、度量和指标项；确定筛选条件、分组条件、排序要求和聚合方式。

10、所述方法中，基于数据实体及数据实体技术特征之间的关联映射关系具体要素，对要素进行拼接和加工，自动生成并执行数据运算逻辑代码，替代了传统工作流程中的需求沟通、需求分析、需求评估、需求确认、代码开发，代码调试和代码运行环节，因而能有效降低工作流程中的沟通成本和时间成本。

11、所述方法中，样本规模和业务口径是会随着时间的变化而变化的，因此算法模型须具备自我优化和迭代的应变能力；比如，数据运算逻辑生成过程中的映射关系、脚本、程序代码或注释、异常信息、交互信息等运行记录和需求文档同时又会成为新的样本作为训练学习对象；同时，当样本被更新后，会被认为是一个新的样本从而被训练学习；因而算法模型能够持续学习完善，使其具备应变能力和适应能力。

12、所述方法中，通过开放api接口与外部应用进行交互，外部是指所述方法外部而非企业外部，api接口能适配常规的请求方式；外部应用包括但不限于网页浏览器、文档工具、系统应用和app程序；使所述方法服务于更多的应用场景，体现所述方法的数据运算时效性和数据交付能力。

13、本发明的有益效果是：

14、1、有效降低人为出错如理解偏差或编码出错的概率，提高数据运算的精确度；

15、2、适应于工作作息时间以外的应用场景，提升数据运算的时效性；

16、3、打破认知壁垒，优化工作流程，有效降低沟通成本和时间成本；

17、4、本发明方法承担着这样一种角色，它比业务人员更懂技术，比技术人员更懂业务。因此通过本发明方法，业务人员拥有更好的数据支撑体验，技术人员能进一步拓宽自己的业务视野，双方共同致力于完善数据治理的标准、业务流程的规范以及本发明方法体系的运行维护，使数据更好地为业务赋能。

技术特征：

1.一种数据关联运算处理的方法，其特征在于，包括以下步骤:

2.根据权利要求1所述的一种数据关联运算处理的方法，其特征在于，数据关联运算处理模型是以实现数据关联运算为目标、构建适应于所述方法的深度学习算法、以多种贴合数据运算逻辑的样本为基础训练生成的，因而具有极高的精准度，数据关联运算处理模型整合了所述样本数据画像信息，包括但不限于参数、特征、公式、语义、规则、逻辑和内在联系。

3.根据权利要求1所述的一种数据关联运算处理的方法，其特征在于，解析数据实体及数据实体技术特征之间的关联映射关系，要素包括但不限于：确定数据源、关联条件和关联方式；确定标签、维度、度量和指标项；确定筛选条件、分组条件、排序要求和聚合方式。

4.根据权利要求1所述的一种数据关联运算处理的方法，其特征在于，基于数据实体及数据实体技术特征之间的关联映射关系具体要素，对要素进行拼接和加工，生成并执行数据运算逻辑代码，替代了传统工作流程中的需求沟通、需求分析、需求评估、需求确认、代码开发，代码调试和代码运行环节，因而能有效降低工作流程中的沟通成本和时间成本。

5.根据权利要求1所述的一种数据关联运算处理的方法，其特征在于，样本规模和业务口径是会随着时间的变化而变化的，因此算法模型须具备自我优化和迭代的应变能力；比如，数据运算逻辑生成过程中的映射关系、脚本、程序代码或注释、异常信息、交互信息等运行记录和需求文档同时又会成为新的样本作为训练学习对象；同时，当样本被更新后，会被认为是一个新的样本从而被训练学习；因而算法模型能够持续学习完善，使其具备应变能力和适应能力。

6.根据权利要求1所述的一种数据关联运算处理的方法，其特征在于，通过开放api接口与外部应用进行交互，外部是指所述方法外部而非企业外部，api接口能适配常规的请求方式；外部应用包括但不限于网页浏览器、文档工具、系统应用和app程序；使所述方法服务于更多的应用场景，体现所述方法的数据运算时效性和数据交付能力。

技术总结本发明公开了一种数据关联运算处理的方法。该方法运用了深度学习具体算法及技术，基于部署环境中的样本持续进行模型优化和迭代学习，解析相关数据之间的关联映射关系，生成并执行数据运算逻辑代码，缓存运算处理结果，通过开放API接口与外部应用进行交互。该方法提高了数据运算的精确度、提升了数据运算的时效性、有效降低了工作流程的成本。技术研发人员：请求不公布姓名受保护的技术使用者：高晋技术研发日：技术公布日：2024/10/10