一种基于数据资产的数据质量实时监控方法及系统与流程

本技术涉及数据处理，尤其涉及一种基于数据资产的数据质量实时监控方法及系统。

背景技术：

1、在当前的数字化时代，数据已经成为企业或组织运营的核心资产。然而，随着数据量的不断增长和数据复杂性的增加，数据的安全性和完整性面临着前所未有的挑战。一旦发生数据丢失或损坏，将可能给企业带来巨大的经济损失和声誉风险。

2、尽管现有的数据容灾技术能够在一定程度上恢复丢失的数据，但往往存在恢复速度慢、恢复准确率低等问题。同时，现有的数据质量监控模型在风险预警方面也存在一定的滞后性和误报率，难以满足企业对数据安全和风险控制的迫切需求。

技术实现思路

1、为了改善上述问题，本技术提供了一种基于数据资产的数据质量实时监控方法及系统。

2、本技术实施例提供一种基于数据资产的数据质量实时监控方法，应用于数据资产监控系统，所述方法包括：

3、对包括目标业务资产数据的第一时序数据流示例进行数据丢失模拟，得到清洗掉所述目标业务资产数据的第一局部数据流示例；

4、依据所述第一局部数据流示例对第一数据容灾模型进行针对所述目标业务资产数据的数据容灾项目的调试，得到完成调试的第一数据容灾模型；

5、通过所述完成调试的第一数据容灾模型对第二局部数据流示例进行数据容灾，得到第一容灾标注数据流，并通过第一数据质量监控模型对包括所述目标业务资产数据的第二时序数据流示例进行异常风险判别，得到第一初步风险标注数据流，其中，所述第二局部数据流示例是对所述第二时序数据流示例进行数据丢失模拟得到的；

6、依据所述第一初步风险标注数据流以及所述第一容灾标注数据流，确定对应所述第一数据质量监控模型的第一风险监控训练误差，并依据所述第一风险监控训练误差优化所述第一数据质量监控模型，得到完成调试的第一数据质量监控模型；

7、其中，所述完成调试的第一数据质量监控模型用于对包括所述目标业务资产数据的待监控时序数据流进行异常风险判别，得到对所述目标业务资产数据进行风险行为标注后的目标时序数据流。

8、可选的，所述依据所述第一局部数据流示例对第一数据容灾模型进行针对所述目标业务资产数据的数据容灾项目的调试，得到完成调试的第一数据容灾模型，包括：

9、对所述第一时序数据流示例进行加噪，得到第一加噪数据流示例；

10、对所述第一局部数据流示例以及所述第一加噪数据流示例进行交叉处理，得到第一交叉数据流示例；

11、依据所述第一交叉数据流示例对第一数据容灾模型进行针对所述目标业务资产数据的数据容灾项目的调试，得到完成调试的第一数据容灾模型。

12、可选的，所述依据所述第一交叉数据流示例对第一数据容灾模型进行针对所述目标业务资产数据的数据容灾项目的调试，得到完成调试的第一数据容灾模型，包括：

13、通过权重回滚的第一数据容灾模型对所述第一交叉数据流示例进行数据容灾，得到对应所述第一交叉数据流示例的第二容灾标注数据流；

14、依据所述第一时序数据流示例以及所述第二容灾标注数据流，确定第一容灾标注训练误差；

15、依据所述第一容灾标注训练误差对所述权重回滚的第一数据容灾模型进行优化，得到所述完成调试的第一数据容灾模型。

16、可选的，所述完成调试的第一数据容灾模型包括第一特征嵌入子模型以及第一特征映射子模型，所述通过所述完成调试的第一数据容灾模型对第二局部数据流示例进行数据容灾，得到第一容灾标注数据流，包括：

17、对所述第二时序数据流示例进行加噪，得到第二加噪数据流示例；

18、对所述第二局部数据流示例以及所述第二加噪数据流示例进行交叉处理，得到第二交叉数据流示例；

19、通过所述第一特征嵌入子模型对所述第二交叉数据流示例进行状态特征嵌入，得到第一状态特征嵌入向量，并通过所述第一特征映射子模型对所述第一状态特征嵌入向量进行容灾标注映射，得到所述第一容灾标注数据流。

20、可选的，所述通过第一数据质量监控模型对包括所述目标业务资产数据的第二时序数据流示例进行异常风险判别，得到第一初步风险标注数据流，包括：

21、通过所述第一数据质量监控模型对所述第二时序数据流示例进行异常风险判别，得到所述第二时序数据流示例中对应所述目标业务资产数据的异常时序数据区间以及对应所述第二时序数据流示例的第二初步风险标注数据流；

22、依据所述第二时序数据流示例中的异常时序数据区间，对所述第二初步风险标注数据流以及所述第二时序数据流示例进行联动标注更新，得到所述第一初步风险标注数据流。

23、可选的，所述依据所述第一初步风险标注数据流以及所述第一容灾标注数据流，确定对应所述第一数据质量监控模型的第一风险监控训练误差，包括：

24、获取先验训练数据区间，并依据所述第二时序数据流示例中对应所述目标业务资产数据的异常时序数据区间以及先验训练数据区间，确定数据区间容灾训练误差；

25、确定如下最少一种训练误差：

26、依据所述第一容灾标注数据流和所述第一初步风险标注数据流，确定全局容灾标注训练误差；

27、依据所述第一容灾标注数据流和所述第一初步风险标注数据流，确定嵌入描述容灾训练误差；

28、依据所述第一容灾标注数据流、所述第一初步风险标注数据流、以及所述先验训练数据区间，确定阶段容灾标注训练误差；

29、依据所述第一容灾标注数据流和所述第一初步风险标注数据流，确定风险类别预测训练误差；

30、依据所述第一初步风险标注数据流，确定对抗训练误差；

31、依据所述全局容灾标注训练误差、所述嵌入描述容灾训练误差、所述阶段容灾标注训练误差、所述风险类别预测训练误差、以及所述对抗训练误差中最少之一，确定第一联动训练误差；

32、对所述第一联动训练误差以及所述数据区间容灾训练误差进行权重求和，得到所述第一风险监控训练误差。

33、可选的，所述获取先验训练数据区间，包括：

34、获取所述第一容灾标注数据流中每个数据分布索引的第一容灾标注词向量以及所述第二时序数据流示例中每个所述数据分布索引的第二容灾标注词向量；

35、针对每个所述数据分布索引实施如下步骤：确定所述数据分布索引的第一容灾标注词向量与所述数据分布索引的第二容灾标注词向量之间的第一特征距离；

36、对每个所述数据分布索引的第一特征距离进行区间数值映射，得到每个所述数据分布索引的第三容灾标注词向量；

37、基于每个所述数据分布索引上的第三容灾标注词向量，生成所述先验训练数据区间。

38、可选的，所述依据所述第二时序数据流示例中对应所述目标业务资产数据的异常时序数据区间以及先验训练数据区间，确定数据区间容灾训练误差，包括：

39、获取所述异常时序数据区间中每个数据分布索引的第一查询向量以及所述先验训练数据区间中每个数据分布索引的第二查询向量；

40、针对每个所述数据分布索引实施如下步骤：确定所述数据分布索引的第一查询向量与所述数据分布索引的第二查询向量之间的第二特征距离；

41、对多个所述数据分布索引的第二特征距离进行权重求和，得到所述数据区间容灾训练误差。

42、可选的，所述方法还包括：

43、获取包括目标业务资产数据的待监控时序数据流；

44、通过所述完成调试的第一数据质量监控模型对所述待监控时序数据流进行异常风险判别，得到所述待监控时序数据流中对应所述目标业务资产数据的异常时序数据区间以及对应所述待监控时序数据流的第三初步风险标注数据流；

45、依据所述待监控时序数据流中对应所述目标业务资产数据的异常时序数据区间，对所述第三初步风险标注数据流以及所述待监控时序数据流进行联动标注更新，得到对所述目标业务资产数据进行风险行为标注后的目标时序数据流。

46、本技术实施例提供一种数据资产监控系统，包括至少一个处理器和存储器；所述存储器存储计算机执行指令；所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行上述的方法。

47、本技术实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在运行时实现上述的方法。

48、本技术实施例通过模拟数据丢失场景、针对性调试数据容灾模型、实时监控数据风险并优化监控模型等一系列创新步骤，旨在为企业提供更高效、更准确的数据恢复和风险预警服务。这一技术方案的提出，不仅解决了传统数据容灾和风险监控技术存在的诸多问题，还为企业数据安全和风险控制提供了强有力的技术支持。