一种数据监测系统的制作方法

本发明涉及数据处理领域，特别是涉及一种数据监测系统。

背景技术：

1、随着社会经济的发展和大数据时代的到来，数据治理对企业的重要性也越来越突出。数据质量是企业数据治理的关键所在，数据质量的好坏直接影响实际的业务结果。企业进行数据分析、挖掘的目的是企图发现数据中隐藏的知识和信息，从而对实际业务或产品进行优化。如果数据集质量不佳，很难得出有用的结论，甚至可能得到错误的结果。所以，进行科学、客观的数据质量评估是非常必要且十分重要的。数据质量评估是从整体上考量某个或某些数据集对特定业务应用的满足程度，能满足业务应用要求的数据集则质量较好，反之则质量较差。传统的质量评估方法通常基于单一维度，通过人工编写sql或者代码，有些场景还需要人工配合检查，不仅效率低、投入成本高，评估结果也存在一定的局限性。因此，科学、客观的数据质量评估需要一个相对完整的评估框架，按照一套规范的步骤和流程，减少人工的干预，提高效率，减少误差。

技术实现思路

1、针对上述技术问题，本发明采用的技术方案为：

2、本发明实施例提供一种数据监测系统，所述系统包括处理器、存储器和数据库，所述存储器中存储有计算机程序，所述数据库中存储有监测规则参考表，所述监测规则参考表的第i行包括(adi，ri)，其中，adi为第i个监测维度的标识，ri为adi对应的监测规则信息集，ri＝{ri1，ri2，……，rij，……，rif(i)}，rij为ri中的第j个监测规则信息，j的取值为1到f(i)，f(i)为ri中的监测规则信息的数量；所述监测维度包括完整性、有效性、准确性、一致性、及时性、唯一性；

3、所述处理器用于执行所述计算机程序，以实现如下步骤：

4、s100，获取用户输入的监测任务信息集m＝{m1，m2，……，mr，……，mq}；mr为m中的第r个监测任务信息，r的取值为1到q，q为m中的监测任务的数量；mr＝(dtr，drr，tr)，dtr为mr对应的任务类型，drr为mr对应的监测信息，drr＝{drr1，drr2，……,drrs，……，drrg(r)}，drrs为drr中的第s个监测信息，drrs＝(adrs，rrs)，adrs为drrs对应的监测维度的标识，rrs为adrs对应的监测规则信息集，s的取值为1到g(r)，g(r)为drr中的监测信息的数量；rrs＝{r1rs，r2rs，……，rtrs，……，rz(r，s)rs}，rtrs为rrs中的第t个监测规则信息，t的取值为1到z(r，s)，z(r，s)为rrs中的监测规则信息的数量；tr为mr对应的监测时间信息；所述任务类型包括流式任务和批量任务。

5、s200，对于mr，如果当前时间为tr对应的监测时间，则利用drr对mr对应的当前需要处理的数据集dcr进行监测，得到对应的监测结果rsr。

6、s300，如果rsr为表征dcr的质量不满足预设要求的结果，输出对应的提示信息。

7、本发明至少具有以下有益效果：

8、本发明实施例提供的数据监测系统，能够从多个维度对数据进行自动监测，提高数据监测效率和监测准确率。

9、应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种数据监测系统，其特征在于，所述系统包括处理器、存储器和数据库，所述存储器中存储有计算机程序，所述数据库中存储有监测规则参考表，所述监测规则参考表的第i行包括(adi，ri)，其中，adi为第i个监测维度的标识，ri为adi对应的监测规则信息集，ri＝{ri1，ri2，……，rij，……，rif(i)}，rij为ri中的第j个监测规则信息，j的取值为1到f(i)，f(i)为ri中的监测规则信息的数量；所述监测维度包括完整性、有效性、准确性、一致性、及时性、唯一性；

2.根据权利要求1所述的系统，其特征在于，所述监测规则参考表基于griffinmeasure框架生成。

3.根据权利要求1所述的系统，其特征在于，所述处理器基于flink引擎对数据集的质量进行监测。

4.根据权利要求1所述的系统，其特征在于，在s200中，rsr通过如下步骤生成：

5.根据权利要求4所述的系统，其特征在于，s300具体包括：

6.根据权利要求4所述的系统，其特征在于，所述处理器还用于执行计算机程序，以实现如下步骤：

7.根据权利要求6所述的系统，其特征在于，s400具体包括：

8.根据权利要求1所述的系统，其特征在于，每个监测规则信息至少包括：规则名称、分类、输入依赖项、业务逻辑、合法阈值范围、告警策略、告警方式。

9.根据权利要求1所述的系统，其特征在于，所述处理器还用于执行计算机程序，以实现如下步骤：

技术总结本发明提供了一种数据监测系统，系统包括处理器、存储器和数据库，存储器中存储有计算机程序，数据库中存储有监测规则参考表，处理器用于：获取用户输入的监测任务信息集M；对于M中的Mr，如果当前时间为Tr对应的监测时间，则利用DRr对Mr对应的当前需要处理的数据集DCr进行监测，得到对应的监测结果RSr；如果RSr为表征DCr的质量不满足预设要求的结果，输出对应的提示信息。本发明能够多维度对数据质量进行自动监测，能够提高监测效率和监测准确率。技术研发人员：堵新政,方省,曹家,罗引,王磊受保护的技术使用者：北京中科闻歌科技股份有限公司技术研发日：技术公布日：2024/7/29