数据统计方法、电子设备、存储介质及计算机程序产品与流程

本申请实施例涉及计算机，尤其涉及一种数据统计方法、电子设备、存储介质及计算机程序产品。

背景技术：

1、在针对数据(包括但不限于网页数据)的数据加工流程中，往往要对数据进行多个不同环节的加工处理。为了便于对数据加工流程的数据加工情况进行把控，需要对数据加工流程的数据折损情况进行统计。

2、因此，如何更方便地统计数据加工流程的数据折损情况，就成了一个需要解决的技术问题。

技术实现思路

1、有鉴于此，本申请实施例提供一种数据统计方案，以至少部分解决上述问题。

2、根据本申请实施例的第一方面，提供了一种数据统计方法，包括：为待进行数据加工的数据加工流程确定对应的结构化参数，其中，所述结构化参数中至少包括用于记录待加工数据的数据标识的字段、和用于记录所述数据加工流程中各个数据加工节点的名称的字段；为多个待加工数据分别生成数据标识，并将携带有数据标识的结构化参数对应拼接至所述多个待加工数据的数据本体中，以生成对应的多个数据加工信息；将多个数据加工信息输入所述数据加工流程，并通过所述数据加工流程中的至少部分数据加工节点依序对多个数据加工信息中的数据本体分别进行数据加工，其中，在数据加工过程中，所述数据标识保持固定不变，且在所述结构化参数中，随数据加工的进行记录对数据加工信息进行加工处理的数据加工节点的名称；根据输入所述数据加工流程的多个数据加工信息中的数据标识，和所述数据加工流程中的末尾数据加工节点输出的加工后数据中的数据标识，确定所述数据加工流程中的数据折损信息。

3、根据本申请实施例的第二方面，提供了一种数据统计方法，包括：为待进行数据加工的直达页数据加工流程确定对应的结构化参数，其中，所述结构化参数中至少包括用于记录待加工直达页数据的数据标识的字段、和用于记录所述直达页数据加工流程中各个直达页数据加工节点的名称的字段；为多个待加工直达页数据分别生成数据标识，并将携带有数据标识的结构化参数对应拼接至所述多个待加工的直达页数据中，以生成对应的多个直达页数据加工信息；将多个直达页数据加工信息输入所述直达页数据加工流程，并通过所述直达页数据加工流程中的至少部分直达页数据加工节点依序对多个直达页数据加工信息中的直达页数据分别进行数据加工，其中，在数据加工过程中，所述数据标识保持固定不变，且在所述结构化参数中，随数据加工的进行记录对直达页数据加工信息进行加工处理的直达页数据加工节点的名称；根据输入所述直达页数据加工流程的多个直达页数据加工信息中的数据标识，和所述直达页数据加工流程中的末尾直达页数据加工节点输出的加工后直达页数据中的数据标识，确定所述直达页数据加工流程中的数据折损信息。

4、根据本申请实施例的第三方面，提供了一种电子设备，包括：处理器、通信接口、存储器和通信总线，其中，所述处理器、所述通信接口和所述存储器通过所述通信总线完成相互间的通信；所述存储器，用于存储计算机程序；所述处理器，用于通过运行所述存储器上所存储的所述计算机程序来执行前述第一方面所述的方法。

5、根据本申请实施例的第四方面，提供了一种计算机存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所述的方法。

6、根据本申请实施例的第五方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如第一方面所述的方法。

7、根据本申请实施例提供的方案，可以为待进行数据加工的数据加工流程确定对应的结构化参数，再为多个待加工数据分别生成数据标识，并将携带有数据标识的结构化参数对应拼接至多个待加工数据的数据本体中，以生成对应的多个数据加工信息，之后将多个数据加工信息输入数据加工流程，并通过数据加工流程中的至少部分数据加工节点依序对多个数据加工信息中的数据本体分别进行数据加工，并且在数据加工过程中，使数据标识保持固定不变，且在结构化参数中，随数据加工的进行记录对数据加工信息进行加工处理的数据加工节点的名称，从而通过根据输入数据加工流程的多个数据加工信息中的数据标识，和数据加工流程中的末尾数据加工节点输出的加工后数据中的数据标识，确定数据加工流程中的数据折损信息。因此，本申请实施例中的方案通过结构化参数和始终固定不变的数据标识，可以方便地对整个数据加工流程的数据加工情况进行表征，从而有利于更方便地统计数据加工流程的数据折损情况，有利于对数据加工流程的数据加工情况进行把控。

技术特征：

1.一种数据统计方法，包括：

2.根据权利要求1所述的方法，其中，所述根据输入所述数据加工流程的多个数据加工信息中的数据标识，和所述数据加工流程中的末尾数据加工节点输出的加工后数据中的数据标识，确定所述数据加工流程中的数据折损信息，包括：

3.根据权利要求1所述的方法，其中，所述方法还包括：

4.根据权利要求1所述的方法，其中，所述在所述结构化参数中，随数据加工的进行记录对数据加工信息进行加工处理的数据加工节点的名称，包括：

5.根据权利要求4所述的方法，其中，所述方法还包括以下至少之一：

6.根据权利要求1-5中任一项所述的方法，其中，所述结构化参数中还包括用于记录各数据加工节点对数据本体进行处理的起始时间信息和结束时间信息的字段；

7.根据权利要求6所述的方法，其中，所述方法还包括：

8.根据权利要求6所述的方法，其中，所述方法还包括：

9.一种数据统计方法，包括：

10.根据权利要求9所述的方法，其中，

11.根据权利要求10所述的方法，其中，所述多个直达页数据加工节点还包括内容加工节点、图像抓取节点和图片加工节点中的至少之一，其中：

12.一种电子设备，包括：处理器、通信接口、存储器和通信总线，其中，所述处理器、所述通信接口和所述存储器通过所述通信总线完成相互间的通信；

13.一种计算机存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如权利要求1-11中任一所述的方法。

14.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如权利要求1-11中任一所述的方法。

技术总结本申请实施例提供了一种数据统计方法、电子设备、存储介质及计算机程序产品。方法包括：为待进行数据加工的数据加工流程确定对应的结构化参数；为多个待加工数据分别生成数据标识，并将携带有数据标识的结构化参数对应拼接至多个待加工数据的数据本体中，以生成对应的多个数据加工信息；将多个数据加工信息输入数据加工流程，并通过数据加工流程中的至少部分数据加工节点依序对多个数据加工信息中的数据本体分别进行数据加工；根据输入数据加工流程的多个数据加工信息中的数据标识，和数据加工流程中的末尾数据加工节点输出的加工后数据中的数据标识，确定数据加工流程中的数据折损信息。本方案可以便于确定数据加工流程中的数据折损。技术研发人员：薛朝璋受保护的技术使用者：优视科技（中国）有限公司技术研发日：技术公布日：2024/7/29