数据调整方法、装置、计算机设备和存储介质与流程

本申请涉及计算机，特别是涉及一种数据调整方法、装置、计算机设备和存储介质。

背景技术：

1、多种业务的分析开展依赖于大数据，数据处理的第一步是需要对数据的质量进行检查，防止不正确或不符合处理格式的数据进入下一步处理，影响数据处理效率。

2、传统技术中，对于采集到的不同数据，一般都是人工设置对应的检查规则，例如a字段不能出现文字、b字段不能出现空值等。但是实际上，很多数据的字段虽然命名不同，但是检查规则可能是一致的，在数据种类繁多的情况下，针对每一种数据分别人工设置对应的检查规则，需要耗费大量的时间，效率低下。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种能够提高数据处理效率的数据调整方法、装置、计算机设备和存储介质。

2、第一方面，本申请提供了一种数据调整方法，包括：

3、获取不同原始数据中预设字段对应的至少一个目标数据，并提取各目标数据中的目标数据特征；

4、将与预设的参考数据特征相匹配的目标数据特征所对应的目标数据，作为目标参考数据；

5、分别通过预设的质量评估规则对各目标参考数据进行质量评估，得到相应目标参考数据的质量评估结果；

6、根据各质量评估结果，对各原始数据进行调整，得到相应原始数据的调整数据。

7、在其中一个实施例中，根据各质量评估结果，对各原始数据进行调整，得到相应原始数据的调整数据，包括：

8、根据各质量评估结果，从至少一个目标数据中选取出至少一个待调整数据；

9、对各待调整数据进行修正处理，得到相应待调整数据的修正数据；

10、根据待调整数据和相应修正数据之间的差异情况，确定待调整数据的基础质量评分；

11、根据各待调整数据的基础质量评分，对各原始数据进行调整，得到相应原始数据的调整数据。

12、在其中一个实施例中，根据各待调整数据的基础质量评分，对各原始数据进行调整，得到相应原始数据的调整数据，包括：

13、根据待调整数据的基础质量评分，确定各原始数据的可信评分；

14、根据各原始数据的可信评分，对各原始数据进行调整，得到相应原始数据的调整数据。

15、在其中一个实施例中，根据待调整数据的基础质量评分，确定待调整数据对应各原始数据的可信评分，包括：

16、针对每一原始数据，确定原始数据对应待调整数据的数据数量，以及各待调整数据对应的基础质量评分；

17、根据数据数量和各待调整数据对应的基础质量评分，确定待调整数据对应各原始数据的可信评分。

18、在其中一个实施例中，根据各原始数据的可信评分，对各原始数据进行调整，得到相应原始数据的调整数据，包括：

19、将可信评分不满足评分阈值的原始数据作为待替换数据；

20、对待替换数据对应的数据匹配配置进行检测，得到检测结果；

21、若检测结果为不正常，则对待替换数据的数据匹配配置进行调整，得到相应原始数据对应的调整数据；

22、若检测结果为正常，则对待替换数据进行调整，得到相应原始数据的调整数据。

23、在其中一个实施例中，对待替换数据进行调整，得到相应原始数据对应的调整数据，包括：

24、确定待替换数据对应的作业链路；

25、从作业链路中选取出与待替换数据关联的引用数据，将引用数据作为相应原始数据的调整数据，并删除替换数据。

26、其中，作业链路中包括各原始数据对应的引用数据；引用数据为被原始数据引用的数据。

27、第二方面，本申请还提供了一种数据调整装置，包括：

28、特征获取模块，用于获取不同原始数据中预设字段对应的至少一个目标数据，并提取各目标数据中的目标数据特征；

29、特征匹配模块，用于将与预设的参考数据特征相匹配的目标数据特征所对应的目标数据，作为目标参考数据；

30、结果确定模块，用于分别通过预设的质量评估规则对各目标参考数据进行质量评估，得到相应目标参考数据的质量评估结果；

31、数据调整模块，用于根据各质量评估结果，对各原始数据进行调整，得到相应原始数据的调整数据。

32、第三方面，本申请还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

33、获取不同原始数据中预设字段对应的至少一个目标数据，并提取各目标数据中的目标数据特征；

34、将与预设的参考数据特征相匹配的目标数据特征所对应的目标数据，作为目标参考数据；

35、分别通过预设的质量评估规则对各目标参考数据进行质量评估，得到相应目标参考数据的质量评估结果；

36、根据各质量评估结果，对各原始数据进行调整，得到相应原始数据的调整数据。

37、第四方面，本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

38、获取不同原始数据中预设字段对应的至少一个目标数据，并提取各目标数据中的目标数据特征；

39、将与预设的参考数据特征相匹配的目标数据特征所对应的目标数据，作为目标参考数据；

40、分别通过预设的质量评估规则对各目标参考数据进行质量评估，得到相应目标参考数据的质量评估结果；

41、根据各质量评估结果，对各原始数据进行调整，得到相应原始数据的调整数据。

42、第五方面，本申请还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

43、获取不同原始数据中预设字段对应的至少一个目标数据，并提取各目标数据中的目标数据特征；

44、将与预设的参考数据特征相匹配的目标数据特征所对应的目标数据，作为目标参考数据；

45、分别通过预设的质量评估规则对各目标参考数据进行质量评估，得到相应目标参考数据的质量评估结果；

46、根据各质量评估结果，对各原始数据进行调整，得到相应原始数据的调整数据。

47、上述数据调整方法、装置、计算机设备和存储介质，获取不同原始数据中预设字段对应的至少一个目标数据，并提取各目标数据中的目标数据特征；将与预设的参考数据特征相匹配的目标数据特征所对应的目标数据，作为目标参考数据；分别通过预设的质量评估规则对各目标参考数据进行质量评估，得到相应目标参考数据的质量评估结果；根据各质量评估结果，对各原始数据进行调整，得到相应原始数据的调整数据。本申请无需通过人工来设置不同数据的质量评估规则，仅需要设置有限个的参考数据特征的质量评估规则，进而查找与参考数据特征相匹配的目标数据，再通过质量评估规则进行质量评估，有效提高对目标数据的评估效率，进而提高数据质量检查和调整的效率。

技术特征：

1.一种数据调整方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述根据各所述质量评估结果，对各所述原始数据进行调整，得到相应原始数据的调整数据，包括：

3.根据权利要求2所述的方法，其特征在于，所述根据各所述待调整数据的基础质量评分，对各原始数据进行调整，得到相应原始数据的调整数据，包括：

4.根据权利要求3所述的方法，其特征在于，所述根据所述待调整数据的基础质量评分，确定所述待调整数据对应各原始数据的可信评分，包括：

5.根据权利要求3所述的方法，其特征在于，根据各所述原始数据的可信评分，对各所述原始数据进行调整，得到相应原始数据的调整数据，包括：

6.根据权利要求5所述的方法，其特征在于，所述对所述待替换数据进行调整，得到相应原始数据对应的调整数据，包括：

7.一种数据调整装置，其特征在于，所述装置包括：

8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

技术总结本申请涉及一种数据调整方法、装置、计算机设备和存储介质。所述方法包括：获取不同原始数据中预设字段对应的至少一个目标数据，并提取各目标数据中的目标数据特征；将与预设的参考数据特征相匹配的目标数据特征所对应的目标数据，作为目标参考数据；分别通过预设的质量评估规则对各目标参考数据进行质量评估，得到相应目标参考数据的质量评估结果；根据各质量评估结果，对各原始数据进行调整，得到相应原始数据的调整数据。采用本方法能够有效提高对目标数据的评估效率，进而提高数据质量检查和调整的效率。技术研发人员：桂媛,刘厚钦,黄山,王谦,陈令曦,夏武,张桂源受保护的技术使用者：南方电网互联网服务有限公司技术研发日：技术公布日：2024/11/21