数据校验方法、装置、设备及存储介质与流程

本发明一般涉及互联网，具体涉及一种数据校验方法、装置、设备及存储介质。

背景技术：

1、随着互联网技术的快速发展，越来越多的工业企业逐渐向数字化转型，能够将企业的生产设备、交易过程和物理世界数字化再继续，随之产生了越来越多的数据。为了促进业务的发展，保证数据使用的安全性，需要对数据进行校验，以验证其正确性显得尤为重要。

2、目前，相关技术中采用抽样检查的方式从离线数据中抽取相应数据，然后对抽取的数据进行逐个字段进行检查，以判断数据是否正确，从而完成对离线数据质量的校验。然而，由于离线数据量一般较大，该校验方案较为单一片面，导致进行数据校验准确度较低。

技术实现思路

1、鉴于现有技术中的上述缺陷或不足，期望提供一种数据校验方法、装置、设备及存储介质，能够对互联网业务产生的业务数据进行全面校验，提高了数据校验准确度。

2、第一方面，本技术实施例提供了一种数据校验方法，该方法包括：

3、获取目标计算任务的源数据，对源数据执行目标计算任务；

4、在目标计算任务执行结束后，确定目标计算任务对应的至少一个校验任务；校验任务用于采用数据校验规则进行数据校验；

5、对目标计算任务产生的中间数据执行至少一个校验任务，得到中间数据的校验结果。

6、第二方面，本技术实施例提供了一种数据校验装置，该装置包括：

7、计算任务执行模块，用于获取目标计算任务的源数据，对源数据执行目标计算任务；

8、确定模块，用于在目标计算任务执行结束后，确定目标计算任务对应的至少一个校验任务；校验任务用于采用数据校验规则进行数据校验；

9、校验任务执行模块，用于对目标计算任务产生的中间数据执行至少一个校验任务，得到中间数据的校验结果。

10、在其中一个实施例中，目标计算任务用于执行目标业务，数据校验规则与目标业务的数据要求相关。

11、可选的，目标业务的数据要求包括多个不同的数据描述字段，数据校验规则包括数据描述字段的单独校验规则以及不同的数据描述字段之间的联合校验规则。

12、在其中一个实施例中，单独校验规则包括非空校验规则、值域合法校验规则中的至少一个；

13、其中，非空校验规则用于校验数据描述字段是否为空；值域合法校验规则用于校验数据描述字段的数据长度是否满足预设长度。

14、可选的，联合校验规则包括第一子规则以及第二子规则中的至少一个；

15、第一子规则用于校验数据描述字段是否满足其他数据描述字段生效情况下所限定的条件；第二子规则用于校验数据描述字段的数值是否唯一。

16、在其中一个实施例中，上述校验任务执行模块，具体用于：

17、获取中间数据中与非空校验规则对应的第一数据描述字段；

18、执行与非空校验规则对应的校验任务，确定第一数据描述字段是否为空；

19、根据第一数据描述字段是否为空，确定中间数据的校验结果。

20、可选的，上述校验任务执行模块，具体用于：

21、获取中间数据中与值域合法校验规则对应的第二数据描述字段；

22、执行与值域合法校验规则对应的校验任务，确定第二数据描述字段的数据长度是否满足预设长度；

23、根据第二数据描述字段的数据长度是否满足预设长度，确定中间数据的校验结果。

24、在其中一个实施例中，上述校验任务执行模块，具体用于：

25、获取中间数据中与第一子规则对应的第三数据描述字段和与第三数据描述字段相关的其他数据描述字段；

26、执行与第一子规则对应的校验任务，确定第三数据描述字段是否满足其他数据描述字段生效情况下所限定的条件；

27、根据第三数据字段是否满足其他数据描述字段生效情况下所限定的条件，确定中间数据的校验结果。

28、在其中一个实施例中，上述校验任务执行模块，具体用于：

29、获取中间数据中与第二子规则对应的第四数据描述字段；

30、执行与第二子对应的校验任务，确定第四数据描述字段的数值是否符合数值唯一条件；

31、根据第四数据描述字段的数值是否符合数值唯一条件，确定中间数据的校验结果。

32、在其中一个实施例中，上述装置，具体用于：

33、通过配置接口获取目标业务的数据要求；

34、基于数据要求生成至少一个数据校验规则，确定至少一个数据校验规则对应的至少一个校验任务。

35、在其中一个实施例中，上述确定模块，具体用于：

36、根据目标计算任务的标识以及校验规则配置信息确定目标计算任务对应的至少一个校验任务；校验规则配置信息用于指示至少一个计算任务标识以及与每一计算任务标识对应的校验任务。

37、在其中一个实施例中，上述计算任务执行模块，具体用于：

38、获取与目标业务对应的业务源数据，将业务源数据作为目标计算任务的源数据；或者，

39、获取与目标业务对应的业务源数据，对业务源数据执行中间计算任务得到计算数据，将计算数据作为目标计算任务的源数据；目标计算任务与中间计算任务具有依赖关系。

40、第三方面，本技术实施例提供了一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，该处理器执行该程序时实现如本技术实施例描述的数据校验方法。

41、第四方面，本技术实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序用于被处理器执行时实现如本技术实施例描述的数据校验方法。

42、第五方面，本技术实施例提供了一种计算机程序产品，该计算机程序产品中包括指令，该指令被执行时实现如本技术实施例描述的数据校验方法。

43、本技术实施例提供的数据校验方法、装置、设备及存储介质，可以通过计算引擎实现互联网业务的执行以及业务数据的校验。首先，通过获取目标计算任务的源数据，基于源数据执行目标计算任务。另外，在目标计算任务执行结束后，确定目标计算任务对应的至少一个校验任务，该校验任务用于采用数据校验规则进行数据校验，然后基于目标计算任务产生的业务数据执行至少一个校验任务，得到业务数据的校验结果。本技术中的技术方案相比于现有技术而言，一方面，在以任务(计算引擎的任务)形式实现业务逻辑后，可以针对任务产生的业务数据创建相应的校验任务，基于校验任务实现对业务数据的全面校验，避免抽样式校验导致的校验结果不准确的问题，通过本技术的方法，能够覆盖全部的业务数据，提高业务数据的校验准确度。另一方面，通过对目标计算任务产生的业务数据执行至少一个校验任务，能够通过执行多个校验任务的方式实现全面且更细粒度地对业务数据进行校验处理，从而精准地得到业务数据的校验结果，进一步提高了数据校验的准确度，保证了数据的质量和可靠性。

44、本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。