一种基于logstash和nebula的数据图形化展示及分析方法与流程

本发明公开一种基于logstash和nebula的数据图形化展示及分析方法，涉及数据管理。

背景技术：

1、随着社会经济发展的多元化，自主创业的激励政策的实行，各类企业逐渐出现在我们的日常生活中。企业类型多种多样、关系纷繁复杂，并且针对金融风控、知识图谱构建、社交网络分析等复杂场景，对企业展示分析的工作上产生了巨大的工作量，但还没有能提供较完善的图数据处理和查询的方法。

技术实现思路

1、本发明针对现有技术的问题，提供一种基于logstash和nebula的数据图形化展示及分析方法，将复杂的企业关系按照专业的业务逻辑进行直观的展示，并为应用场景提供良好的数据基础。

2、本发明提出的具体方案是：

3、本发明提供一种基于logstash和nebula的数据图形化展示及分析方法，包括：

4、步骤1：配置logstash、nebula-graph、nebula-graph-studio及数据库环境；

5、步骤2：利用logstash在数据库中完成企业数据的加工，形成企业信息表和企业关系表，并将企业信息表和企业关系表保存成tag及edge表形式；

6、步骤3：通过logstash配置企业信息表和企业关系表，将企业信息表和企业关系表的数据传输至nebula路径下；

7、步骤4：根据企业信息表和企业关系表在nebula-graph-studio上新建图空间space，并为图空间新建对应的tag、edge、index，导入企业信息表和企业关系表的tag及edge表形式；

8、步骤5：配置nebula-graph-studio，通过nebula查询语句ngql完成查询，验证导入是否成功；

9、步骤6：导入成功后在nebula-graph-studio完成对应企业信息及关系的分析与展示。

10、进一步，所述的一种基于logstash和nebula的数据图形化展示及分析方法中步骤2中利用logstash在数据库中完成企业数据的加工，包括：从各种来源采集企业数据，在数据从源传输到数据库的过程中，利用过滤器解析各个事件涉及的数据，识别已命名的字段以构建数据结构，并将数据转换成通用格式。

11、进一步，所述的一种基于logstash和nebula的数据图形化展示及分析方法中步骤2中利用过滤器解析各个事件涉及的数据，包括：对文本数据进行分割、转换、删除、替换操作，还利用各种正则表达式和条件判断过滤数据。

12、进一步，所述的一种基于logstash和nebula的数据图形化展示及分析方法中步骤6中根据企业信息及关系分别按照不同领域进行不同类型图表展示，领域包括金融风控领域、知识图谱构建领域、社交网络分析领域。

13、本发明还提供一种基于logstash和nebula的数据图形化展示及分析装置，包括配置模块、logstash管理模块和nebula管理模块，

14、配置模块配置logstash、nebula-graph、nebula-graph-studio及数据库环境；

15、logstash利用logstash管理模块在数据库中完成企业数据的加工，形成企业信息表和企业关系表，并将企业信息表和企业关系表保存成tag及edge表形式；

16、logstash通过logstash管理模块配置企业信息表和企业关系表，将企业信息表和企业关系表的数据传输至nebula路径下；

17、nebula管理模块根据企业信息表和企业关系表在nebula-graph-studio上新建图空间space，并为图空间新建对应的tag、edge、index，导入企业信息表和企业关系表的tag及edge表形式；

18、nebula管理模块配置nebula-graph-studio，通过nebula查询语句ngql完成查询，验证导入是否成功；

19、导入成功后nebula管理模块在nebula-graph-studio完成对应企业信息及关系的分析与展示。

20、进一步，所述的一种基于logstash和nebula的数据图形化展示及分析装置的logstash管理模块在数据库中完成企业数据的加工，包括：logstash管理模块从各种来源采集企业数据，在数据从源传输到数据库的过程中，利用过滤器解析各个事件涉及的数据，识别已命名的字段以构建数据结构，并将数据转换成通用格式。

21、进一步，所述的一种基于logstash和nebula的数据图形化展示及分析装置的logstash管理模块利用过滤器解析各个事件涉及的数据，包括：对文本数据进行分割、转换、删除、替换操作，还利用各种正则表达式和条件判断过滤数据。

22、进一步，所述的一种基于logstash和nebula的数据图形化展示及分析装置的nebula管理模块根据企业信息及关系分别按照不同领域进行不同类型图表展示，领域包括金融风控领域、知识图谱构建领域、社交网络分析领域。

23、本发明的有益之处是：

24、利用logstash数据传输工具，利用其本身的实时性、灵活性和可扩展性的优点，有针对性的解决了大批量数据传输慢、耗时长、不稳定的问题；利用nebula-graph擅长处理复杂图结构数据的场景的优点，应用到企业关系网络分析的领域，对该项研究有了本质的提升；利用nebula-graph采用分布式架构，能够在多台服务器上存储和处理数据，实现高性能和高可用性，从而提升了数据查询与分析的效率。利用nebula-graph-studio对图数据关系可视化展示的优点，将nebula-graph分析得到的企业关系网络以图形化的形式对外展示。

技术特征：

1.一种基于logstash和nebula的数据图形化展示及分析方法，其特征是包括：

2.根据权利要求1所述的一种基于logstash和nebula的数据图形化展示及分析方法，其特征是步骤2中利用logstash在数据库中完成企业数据的加工，包括：从各种来源采集企业数据，在数据从源传输到数据库的过程中，利用过滤器解析各个事件涉及的数据，识别已命名的字段以构建数据结构，并将数据转换成通用格式。

3.根据权利要求2所述的一种基于logstash和nebula的数据图形化展示及分析方法，其特征是步骤2中利用过滤器解析各个事件涉及的数据，包括：对文本数据进行分割、转换、删除、替换操作，还利用各种正则表达式和条件判断过滤数据。

4.根据权利要求1所述的一种基于logstash和nebula的数据图形化展示及分析方法，其特征是步骤6中根据企业信息及关系分别按照不同领域进行不同类型图表展示，领域包括金融风控领域、知识图谱构建领域、社交网络分析领域。

5.一种基于logstash和nebula的数据图形化展示及分析装置，其特征是包括配置模块、logstash管理模块和nebula管理模块，

6.根据权利要求5所述的一种基于logstash和nebula的数据图形化展示及分析装置，其特征是logstash管理模块在数据库中完成企业数据的加工，包括：logstash管理模块从各种来源采集企业数据，在数据从源传输到数据库的过程中，利用过滤器解析各个事件涉及的数据，识别已命名的字段以构建数据结构，并将数据转换成通用格式。

7.根据权利要求6所述的一种基于logstash和nebula的数据图形化展示及分析方法，其特征是logstash管理模块利用过滤器解析各个事件涉及的数据，包括：对文本数据进行分割、转换、删除、替换操作，还利用各种正则表达式和条件判断过滤数据。

8.根据权利要求5所述的一种基于logstash和nebula的数据图形化展示及分析装置，其特征是nebula管理模块根据企业信息及关系分别按照不同领域进行不同类型图表展示，领域包括金融风控领域、知识图谱构建领域、社交网络分析领域。

技术总结本发明公开一种基于logstash和nebula的数据图形化展示及分析方法，涉及数据管理技术领域；包括：步骤1：配置logstash、nebula‑graph、nebula‑graph‑studio及数据库环境；步骤2：利用logstash在数据库中完成企业数据的加工，形成企业信息表和企业关系表，并将企业信息表和企业关系表保存成tag及edge表形式；步骤3：通过logstash配置企业信息表和企业关系表，将企业信息表和企业关系表的数据传输至nebula路径下；步骤4：根据企业信息表和企业关系表在nebula‑graph‑studio上新建图空间space，并为图空间新建对应的tag、edge、index，导入企业信息表和企业关系表的tag及edge表形式；步骤5：配置nebula‑graph‑studio，通过nebula查询语句nGQL完成查询，验证导入是否成功；步骤6：导入成功后在nebula‑graph‑studio完成对应企业信息及关系的分析与展示。技术研发人员：陈晨,谢国梁,杨宝华,崔乐乐受保护的技术使用者：天元大数据信用管理有限公司技术研发日：技术公布日：2024/12/2