用于在线导入图数据的方法、装置和图数据库系统与流程

本说明书实施例通常涉及计算机，尤其涉及用于在线导入图数据的方法、装置和图数据库系统。

背景技术：

1、图数据库（graph database）是以点、边为基础存储单元，以高效存储、查询图数据为设计原理的数据管理系统。作为非关系型数据库（nosql），图数据库非常适合需要处理和分析复杂关系和连接性数据的场景，比如社交网络分析、知识图谱、推荐系统和金融风险管理等。上述场景往往需要处理非常复杂的查询，为提升效率，图数据库通常会将数据存储在有序存储引擎中。因而，如何既要在数据导入时维护原有数据结构的有序性，又要保证导入性能成为需要解决的问题。

技术实现思路

1、鉴于上述，本说明书实施例提供了一种用于在线导入图数据的方法、装置和图数据库系统。利用该用于在线导入图数据的方法，从数据源获取以第一存储格式存储的图数据；对所述图数据进行外排序，得到排序后的图数据；按照目标图数据库所指定的第二存储格式对所述排序后的图数据进行打包，得到待导入的图数据文件和对应的元数据文件；以及将所述待导入的图数据文件和对应的元数据文件的存储位置信息提供给图数据库服务器，以使所述图数据库服务器将所述图数据文件导入到所述目标图数据库，并根据所得到的元数据文件更新所述目标图数据库对应的元数据文件。由此实现了在数据导入时既维护了原有数据结构的有序性，又保证了较好的导入性能，还可以实现高性能的图数据在线导入。

2、根据本说明书的实施例的一个方面，提供一种用于在线导入图数据的方法，包括：从数据源获取以第一存储格式存储的图数据；对所述图数据进行外排序，得到排序后的图数据；按照目标图数据库所指定的第二存储格式对所述排序后的图数据进行打包，得到待导入的图数据文件和对应的元数据文件；以及将所述待导入的图数据文件和对应的元数据文件的存储位置信息提供给图数据库服务器，以使所述图数据库服务器将所述图数据文件导入到所述目标图数据库，并根据所得到的元数据文件更新所述目标图数据库对应的元数据文件。

3、根据本说明书的实施例的又一个方面，提供一种用于在线导入图数据的装置，包括：数据获取单元，被配置为从数据源获取以第一存储格式存储的图数据；外排序单元，被配置为对所述图数据执行外排序，得到排序后的图数据；适配处理单元，被配置为按照目标图数据库所指定的第二存储格式对所述排序后的图数据进行打包，得到待导入的图数据文件和对应的元数据文件；以及存储位置提供单元，被配置为将所述待导入的图数据文件和对应的元数据文件的存储位置信息提供给图数据库服务器，以使所述图数据库服务器将所述图数据文件导入到所述目标图数据库，并根据所得到的元数据文件更新所述目标图数据库对应的元数据文件。

4、根据本说明书的实施例的再一个方面，提供一种图数据库系统，包括：图数据库服务器，被配置为响应于接收到图数据导入请求，向数据源服务器发送数据导入指令，其中，所述图数据导入请求中包括数据源信息，所述数据源信息包括与目标图数据对应的存储位置信息；所述数据源服务器，被配置为以第一存储格式存储需要导入的图数据；响应于接收到所述数据导入指令，获取所述数据导入指令所针对的目标图数据；对所述目标图数据执行外排序，得到排序后的目标图数据；按照目标图数据库所指定的第二存储格式对所述排序后的目标图数据进行打包，得到待导入的图数据文件和对应的元数据文件；以及将所述待导入的图数据文件和对应的元数据文件的存储位置信息提供给图数据库服务器，以使所述图数据库服务器将所述图数据文件导入到所述目标图数据库，并根据所得到的元数据文件更新所述目标图数据库对应的元数据文件。

5、根据本说明书的实施例的另一方面，提供一种用于在线导入图数据的装置，包括：至少一个处理器，与所述至少一个处理器耦合的存储器，以及存储在所述存储器上的计算机程序，所述至少一个处理器执行所述计算机程序来实现如上述的用于在线导入图数据的方法。

6、根据本说明书的实施例的另一方面，提供一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的用于在线导入图数据的方法。

7、根据本说明书的实施例的另一方面，提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行来实现如上所述的用于在线导入图数据的方法。

技术特征：

1.一种用于在线导入图数据的方法，包括：

2.如权利要求1所述的方法，其中，在所述将所述图数据文件和对应的元数据文件的存储位置信息提供给图数据库服务器之前，所述方法还包括：

3.如权利要求1所述的方法，其中，所述对所述图数据进行外排序，得到排序后的图数据包括：

4.如权利要求3所述的方法，其中，所述根据内存的容量对所述图数据进行划分，生成多个节点数据子文件和边数据子文件包括：

5.如权利要求3所述的方法，其中，所述分别对所得到的内部有序的节点数据子文件和内部有序的边数据子文件进行多路归并，得到排序后的节点数据和排序后的边数据包括：

6.如权利要求1到5中任一所述的方法，其中，所述目标图数据库中包括彼此隔离的多个子图，所述目标图数据库对应的元数据文件为所述图数据文件所导入的新创建子图对应的元数据文件，所述图数据中还包括索引数据。

7.一种用于在线导入图数据的装置，包括：

8.如权利要求7所述的装置，其中，所述装置还包括：

9.如权利要求7所述的装置，其中，所述外排序单元包括：

10.如权利要求9所述的装置，所述数据划分模块进一步被配置为：

11.如权利要求9所述的装置，所述归并模块进一步被配置为：

12.如权利要求7到11中任一所述的装置，其中，所述目标图数据库中包括彼此隔离的多个子图，所述目标图数据库对应的元数据文件为所述图数据文件所导入的新创建子图对应的元数据文件，所述图数据中还包括索引数据。

13.一种图数据库系统，包括：

14.一种用于在线导入图数据的装置，包括：至少一个处理器，与所述至少一个处理器耦合的存储器，以及存储在所述存储器上的计算机程序，所述至少一个处理器执行所述计算机程序来实现如权利要求1到6中任一所述的用于在线导入图数据的方法。

技术总结本说明书的实施例提供了一种用于在线导入图数据的方法、装置和图数据库系统。在该用于在线导入图数据的方法中，从数据源获取以第一存储格式存储的图数据；对所述图数据进行外排序，得到排序后的图数据；按照目标图数据库所指定的第二存储格式对所述排序后的图数据进行打包，得到待导入的图数据文件和对应的元数据文件；以及将所述待导入的图数据文件和对应的元数据文件的存储位置信息提供给图数据库服务器，以使所述图数据库服务器将所述图数据文件导入到所述目标图数据库，并根据所得到的元数据文件更新所述目标图数据库对应的元数据文件。技术研发人员：李盼盼,王志勇,林恒受保护的技术使用者：支付宝（杭州）信息技术有限公司技术研发日：技术公布日：2024/7/29