图数据导入方法、电子设备及图数据导入系统与流程

本技术实施例涉及数据处理，特别是涉及一种图数据导入方法、电子设备及图数据导入系统。

背景技术：

1、开源图数据库(hugegraph)是一款由百度开源的图数据库系统，支持百亿以上的顶点(vertex)和边(edge)快速导入，并提供毫秒级的关联查询能力，并可与大数据平台集成以进行离线分析。

2、现有技术通过图数据库服务端(hugegraph server)提供的http接口将图数据导入hugegraph。但是对于图数据量大的场景，http接口会成为瓶颈，并且由于hugegraphserver中存在大量的校验和序列化反序列化逻辑，导致单节点的hugegraph server处理图数据的效率十分有限，无法支持海量图数据的高效写入。

技术实现思路

1、本技术实施例旨在提供一种图数据导入方法、电子设备及图数据导入系统，以提高图数据导入图数据库的效率，实现海量图数据实时高效导入图数据库。

2、本技术实施例提供以下技术方案：

3、第一方面，本技术实施例提供一种图数据导入方法，包括：

4、获取多个图数据；

5、通过计算引擎对每一图数据进行序列化操作，得到每一图数据对应的原始图数据信息；

6、将原始图数据信息批量导入图数据库存储端。

7、在一些实施例中，获取多个图数据，包括：

8、将多个图数据从业务系统采集到消息队列中，其中，消息队列与业务系统解耦；

9、通过计算引擎批量获取消息队列中的图数据。

10、在一些实施例中，计算引擎包括图数据库序列化模块，图数据库序列化模块用于对图数据进行序列化操作；

11、通过计算引擎对每一图数据进行序列化操作，得到每一图数据对应的原始图数据信息，包括：

12、确定图数据对应的若干个图数据信息，其中，每一种图数据信息对应一种数据类型，图数据信息包括图数据的别名、属性、索引中的一种或多种；

13、将图数据信息对应的数据类型转换为第一数据类型，其中，图数据信息对应的数据类型与第一数据类型不同，第一数据类型与图数据库存储端的数据结构匹配；

14、将转换为第一数据类型的图数据信息确定为原始图数据信息。

15、在一些实施例中，在通过计算引擎批量获取消息队列中的图数据后，方法还包括：

16、通过计算引擎对每一图数据进行模式校验，得到模式校验结果；

17、若模式校验结果为模式变更，则通过计算引擎向图数据库服务端发送更新请求，以更新图数据库服务端存储的第一图数据信息。

18、在一些实施例中，计算引擎还包括模式管理模块，模式管理模块用于对图数据进行模式校验；

19、通过计算引擎对图数据进行模式校验，得到模式校验结果，包括：

20、通过计算引擎获取图数据库服务端存储的第一图数据信息，将第一图数据信息存储至模式管理模块；

21、若图数据对应的图数据信息与第一图数据信息不同，则确定模式校验结果为模式变更。

22、在一些实施例中，若模式校验结果为模式变更，方法还包括：

23、记录更新日志并进行告警提示，以进行变更校验，得到变更校验结果；

24、若变更校验结果为第一校验结果，则对图数据信息对应的图数据进行回滚操作；

25、若变更校验结果为第二校验结果，则更新图数据库服务端存储的第一图数据信息。

26、在一些实施例中，图数据包括点数据和边数据；

27、将原始图数据信息批量导入图数据库存储端，包括：

28、若图数据库存储端接收到边数据对应的原始图数据信息，且未接收到边数据对应的来源节点和/或目标节点的原始图数据信息，则通过计算引擎分别创建来源节点和目标节点对应的第一版本的原始图数据信息并记录第一版本时间；

29、在图数据库存储端接收到来源节点和/或目标节点分别对应的原始图数据信息后，通过计算引擎将来源节点和/或目标节点分别对应的原始图数据信息作为第二版本的原始图数据信息存储至图数据库存储端并记录第二版本时间，其中，第一版本时间早于第二版本时间。

30、在一些实施例中，原始图数据信息包括属性；

31、将原始图数据信息批量导入图数据库存储端，还包括：

32、若对图数据库存储端存储的数据进行更新操作，则通过计算引擎将数据对应的最新的原始图数据信息插入图数据库存储端，并保存每一次更新后得到的每一版本的数据以及属性的更新时间；

33、若对图数据库存储端存储的数据进行删除操作，则通过计算引擎将数据对应的删除数据信息插入图数据库存储端，其中，删除数据信息包括删除标记属性和删除时间。

34、在一些实施例中，在将原始图数据信息批量导入图数据库存储端之后，方法还包括：

35、查询图数据库存储端，根据属性的更新时间，返回属性对应的最新版本的数据；

36、和/或，查询图数据库存储端，根据最新版本的数据的删除标记属性，确定删除操作是否完成，其中，最新版本的数据的更新时间晚于删除操作对应的删除时间；

37、若删除标记属性为假，则确定删除操作完成；

38、若删除标记属性为真，则确定删除操作未完成。

39、第二方面，本技术实施例提供一种电子设备，包括：

40、至少一个处理器，以及

41、与至少一个处理器通信连接的存储器，其中，

42、存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行第一方面的图数据导入方法。

43、第三方面，本技术实施例提供一种图数据导入系统，应用第一方面的图数据导入方法，该图数据导入系统包括：

44、业务系统，用于产生图数据；

45、消息队列，用于接收业务系统中的图数据；

46、计算引擎，用于获取消息队列中的图数据，并将图数据导入图数据库；

47、图数据库，用于存储图数据。

48、在一些实施例中，计算引擎包括图数据库序列化模块和模式管理模块，图数据库序列化模块用于对图数据进行序列化操作，模式管理模块用于对图数据进行模式校验。

49、在一些实施例中，图数据库包括图数据库存储端和图数据库服务端，图数据库存储端用于存储原始图数据信息，图数据库服务端用于存储第一图数据信息。

50、第四方面，本技术实施例提供一种非易失性计算机可读存储介质，非易失性计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使电子设备执行第一方面的图数据导入方法。

51、本技术实施例的有益效果：区别于现有技术的情况，本技术实施例提供一种图数据导入方法包括：获取多个图数据；通过计算引擎对每一图数据进行序列化操作，得到每一图数据对应的原始图数据信息；将原始图数据信息批量导入图数据库存储端。通过计算引擎对图数据进行序列化操作，然后直接将经过序列化操作的图数据批量导入图数据库存储端，本技术能够跳过图数据库服务端，将图数据存储至图数据库存储端，从而提高图数据导入图数据库的效率，实现海量图数据实时高效导入图数据库。