数据处理方法、装置、设备及存储介质与流程

本申请涉及计算机，具体涉及一种数据处理方法、装置、设备及存储介质。

背景技术：

1、随着大数据时代的到来，关系型数据的描述和管理变得尤为重要。市场上出现了众多用于描述关系的数据产品，但在实际应用中，这些产品普遍存在以下问题：

2、当前的关系数据产品中，客体通常以列表(list)的形式进行储存。在读取数据时，需要在内存中解析这些列表。当并发请求增多，系统需要处理大量的数据读取和解析，可能存在内存过载的风险。

3、许多关系数据产品采用大宽表的结构来储存数据。这种方式在处理某些关系数据时可能会导致数据倾斜，进而影响查询速度。

4、当前的数据产品通常使用固定的数据格式，这使得对客体附加属性的深入描述变得困难，可能导致关系描述的不完整。

5、许多数据产品的应用程序编程(application programming interface，api)接口功能有限，仅支持简单的查询和数据获取。这使得下游业务在调用时形式单一，无法实现复杂的数据筛选、统计等功能。有时，为了满足需求，业务方甚至可能错误地使用api接口，给系统带来不必要的压力。

6、因此，目前的关系数据产品在处理大规模数据时面临挑战，难以满足日益增长的大数据处理需求。

技术实现思路

1、本申请实施例提供一种数据处理方法、装置、设备及存储介质，可以支持全新的数据存储结构，得到更多维度的关系描述，且能提升数据的时效性，以及能够提升数据查询速率。

2、一方面，本申请实施例提供一种数据处理方法，所述方法包括：

3、从业务数据源中获取原始数据；

4、从所述原始数据中提取出实体关系数据，其中，每条所述实体关系数据包含有对应的实体属性数据、主体标识与客体标识；

5、针对任意一条实体关系数据，以所述实体关系数据中的主体标识以及客体标识作为联合主键，基于所述实体关系数据生成实体关系表；

6、将所述实体关系表存储于目标数据库中；

7、响应于实体查询请求，从所述目标数据库中获取与所述实体查询请求对应的目标实体关系数据。

8、另一方面，本申请实施例提供一种数据处理装置，所述装置包括：

9、获取单元，用于从业务数据源中获取原始数据；

10、提取单元，用于从所述原始数据中提取出实体关系数据，其中，每条所述实体关系数据包含有对应的实体属性数据、主体标识与客体标识；

11、第一存储单元，用于针对任意一条实体关系数据，以所述实体关系数据中的主体标识以及客体标识作为联合主键，基于所述实体关系数据生成实体关系表；

12、第二存储单元，用于将所述实体关系表存储于目标数据库中；

13、查询单元，用于响应于实体查询请求，从所述目标数据库中获取与所述实体查询请求对应的目标实体关系数据。

14、另一方面，本申请实施例提供一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器通过调用所述存储器中存储的所述计算机程序，用于执行如上任一实施例所述的数据处理方法。

15、另一方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序适于处理器进行加载，以执行如上任一实施例所述的数据处理方法。

16、另一方面，本申请实施例一种计算机程序产品，包括计算机指令，所述计算机指令被处理器执行时实现如上任一实施例所述的数据处理方法。

17、本申请实施例通过从业务数据源中获取原始数据；从原始数据中提取出实体关系数据，其中，每条实体关系数据包含有对应的实体属性数据、主体标识与客体标识；针对任意一条实体关系数据，以实体关系数据中的主体标识以及客体标识作为联合主键，基于实体关系数据生成实体关系表；将实体关系表存储于目标数据库中；响应于实体查询请求，从目标数据库中获取与实体查询请求对应的目标实体关系数据。本申请实施例通过针对任意一条实体关系数据，以实体关系数据中的主体标识以及客体标识作为联合主键，基于实体关系数据生成实体关系表，并进一步将实体关系表存储于目标数据库中，能够支持全新的数据存储结构，使得数据的组织更为合理和高效；每条实体关系数据包含有对应的实体属性数据、主体标识与客体标识，这种数据结构能够提供更多维度的关系描述，有助于更全面地理解数据中的实体关系；通过将实体关系数据存储于目标数据库中，可以实现数据的实时更新和同步，提升了数据的时效性，使得用户能够及时获取最新的数据信息；当接收到实体查询请求时，可以直接从目标数据库中的实体关系表中快速获取与实体查询请求对应的目标实体关系数据，提升了数据查询的速率。

技术特征：

1.一种数据处理方法，其特征在于，所述方法包括：

2.如权利要求1所述的数据处理方法，其特征在于，所述目标数据库包括第一目标数据库与第二目标数据库；

3.如权利要求2所述的数据处理方法，其特征在于，所述响应于实体查询请求，从所述目标数据库中获取与所述实体查询请求对应的目标实体关系数据，包括：

4.如权利要求3所述的数据处理方法，其特征在于，所述响应于所述第一实体查询请求，从所述第一目标数据库或者所述第二目标数据库中获取与所述实体查询请求对应的目标实体关系数据，包括：

5.如权利要求3所述的数据处理方法，其特征在于，所述响应于所述第二实体查询请求，从所述第一目标数据库与所述第二目标数据库中获取与所述实体查询请求对应的目标实体关系数据，包括：

6.如权利要求1所述的数据处理方法，其特征在于，所述方法还包括：

7.如权利要求6所述的数据处理方法，其特征在于，所述响应于实体查询请求，从所述目标数据库中获取与所述实体查询请求对应的目标实体关系数据，包括：

8.如权利要求1所述的数据处理方法，其特征在于，所述从所述原始数据中提取出实体关系数据，包括：

9.如权利要求8所述的数据处理方法，其特征在于，所述基于流式计算方式从所述原始数据中提取出多个实体关系数据，包括：

10.一种数据处理装置，其特征在于，所述装置包括：

11.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器通过调用所述存储器中存储的所述计算机程序，用于执行权利要求1-9任一项所述的数据处理方法。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序适于处理器进行加载，以执行如权利要求1-9任一项所述的数据处理方法。

技术总结本申请公开一种数据处理方法、装置、设备及存储介质，方法包括：从业务数据源中获取原始数据；从原始数据中提取出实体关系数据，其中，每条实体关系数据包含有对应的实体属性数据、主体标识与客体标识；针对任意一条实体关系数据，以实体关系数据中的主体标识以及客体标识作为联合主键，基于实体关系数据生成实体关系表；将实体关系表存储于目标数据库中；响应于实体查询请求，从目标数据库中获取与实体查询请求对应的目标实体关系数据。本申请可以支持全新的数据存储结构，得到更多维度的关系描述，且能提升数据的时效性，以及能够提升数据查询速率。技术研发人员：陈睿,王淑君,杨韬,彭小勇,青焓,林岸森受保护的技术使用者：富途网络科技（深圳）有限公司技术研发日：技术公布日：2024/7/29