一种涡轴涡桨发动机机械液压产品试验智能知识融合平台的制作方法

1.本发明属于计算机技术领域，具体涉及一种涡轴涡桨发动机机械液压产品试验智能知识融合平台。


背景技术：

2.目前涡轴/涡桨发动机机械液压产品的试验存在以下核心问题：
3.1)产品的调试、排故和长试过程中主要依赖于操作人员经验，而在这些过程中产生的数据并未被有效利用，造成调试周期长、产品深层次，系统性故障无法定位以及无法识别早期预警信号等问题；
4.2)涡轴/涡桨发动机机械液压产品的试验数据量非常庞大，以长试数据为例，一次长试数据可能包括几百甚至上千小时的信息，数据量更是达到gb甚至tb级别，传统的数据库不论是容量、可扩展性还是查询速度都无法达到要求；
5.3)随着数据增多和对数据使用的不断深入，会不断出现新的决策需求，需要提取新的决策知识，而传统的平台系统架构较为固定，根据新的需求进行功能增加和调整的功能较弱。


技术实现要素：

6.本发明的目的是：提供了一种涡轴涡桨发动机机械液压产品试验智能知识融合平台。本发明解决了产品海量试验数据的存储、管理和查询的技术问题，为决策算法提供数据支持，实现了系统功能的扩展和动态更新。
7.本发明的技术方案是：一种涡轴涡桨发动机机械液压产品试验智能知识融合平台，所述平台包括分布式海量试验数据存储、数据仓库-文本知识融合和系统插件功能增强机制；以分布式海量数据存储为基础，为试验产生的海量数据提供灵活可扩展的分布式存储方案；在此基础上，将海量数据通过数据仓库进行组织，基于数据仓库-文本知识融合，将非结构化的文本数据与数据仓库中存储的结构化的海量数据通过url的形式链接，实现非结构化和结构化的融合，为后续知识提取和数据挖掘奠定基础；通过系统插件功能增强机制，实现随时添加和更新决策算法的功能。
8.前述的涡轴涡桨发动机机械液压产品试验智能知识融合平台中，所述的灵活可扩展的分布式存储方案为：将海量数据分割成多个数据块进行存储。
9.前述的涡轴涡桨发动机机械液压产品试验智能知识融合平台中，分布式海量数据存储的工作过程包括：
10.通过namenode模块对元数据进行管理服务，并负责管理整个分布式海量数据存储的文件命名空间；
11.将datanode模块作为分布式海量数据存储的工作节点负责存储被分割而成的数据块，为客户端client提供数据的读写服务。
12.前述的涡轴涡桨发动机机械液压产品试验智能知识融合平台中，分布式海量数据
存储的写流程如下执行：
13.首先client和namenode建立连接，通过namenode查看元数据信息并将信息返回给client，然后client接收到namenode返回的datanode列表并与其建立连接让其准备接收数据。client将文件进行分块处理，将数据块和namenode返回的列表信息一起发送给datanode。
14.前述的涡轴涡桨发动机机械液压产品试验智能知识融合平台中，分布式海量数据存储的读流程如下执行：
15.client与namenode建立连接，namenode通过查询元数据信息，得到所需文件的数据块映射信息及存储数据块的datanode列表并发送给client，client得到信息后寻找最近可用的datanode取回数据块。
16.前述的涡轴涡桨发动机机械液压产品试验智能知识融合平台中，分布式海量数据存储的工作过程还包括：
17.通过资源管理与任务调度器中的resource manager模块接受用户提交的分布式计算程序，并为其划分资源；管理、监控各个node manager模块上的资源情况，以便于均衡负载；
18.通过资源管理与任务调度器中的node manager模块管理所在机器的运算资源，负责接受resource manager模块分配的任务，以及创建容器和回收资源；
19.在namenode模块、datanode模块及资源管理与任务调度器的支撑下，将海量数据存储在数据仓库。
20.前述的涡轴涡桨发动机机械液压产品试验智能知识融合平台中，数据仓库-文本知识融合的工作过程如下：
21.基于图数据模型的数据仓库-文本知识融合表达技术，将数据仓库和企业已有的文本定义为图数据模型中的资源，通过有向线段连接数据仓库和文本；文本通过搜索技术辅助知识提取，数据仓库通过数据挖掘辅助知识提取，同时利用图遍历技术实现数据仓库-文本关联性知识提取，最终实现知识的深度挖掘与提取。
22.前述的涡轴涡桨发动机机械液压产品试验智能知识融合平台中，所述的系统插件功能增强机制的架构包括用户操作界面，插件任务池和插件；用户操作界面提供插件管理和插件编排功能界面；插件在被使用时创建对应的插件任务池；所述的系统插件功能增强机制的运行方式基于工作流调度引擎，具体如下：
23.用户上传插件至智能知识融合平台，平台将插件保存至本地；然后创建流程，平台通过编排插件生成zip包上传至工作流调度引擎，工作流调度引擎返回工作流id；之后当用户执行/调度插件时，平台通过工作流引擎提交任务至资源管理与任务调度器，最后操作数据仓库来实现整个插件的功能。
24.本发明的优点是：本发明提出一种基于大数据的涡轴/涡桨发动机机械液压产品试验智能知识融合平台，利用大数据技术解决数据存储、查询和扩展问题；对存储的产品数据按照需求，组织成不同的数据仓库，为知识的提取提供系统管理和支持；通过插件机制，实现系统功能的动态更新和扩展。
25.本发明基于大数据技术，通过分布式数据存储架构，解决了海量数据的存储能力，为决策算法提供了数据支持；提出一种数据仓库与文本知识融合的知识管理方式，实现了
企业内部现有知识与试验数据的融合，为数据中知识的提取与挖掘奠定了基础；建立了框架的插件机制，可以通过插件的方式对已有系统功能进行扩展，实现了系统功能的扩展和动态更新。
26.本发明提供一种基于大数据的智能知识融合平台决策系统，该系统基于涡轴/涡桨发动机机械液压产品独有的特点，优化了海量数据的存储与查询方式，为决策算法提供了数据支持；通过数据仓库-文本知识融合，为企业已有文字知识和试验数据架起桥梁，奠定了数据知识提取和挖掘的基础；通过本产品的插件机制，实现了平台功能的渐进式更新和增强，确保了系统能够适应不断更新的决策需求和功能需求。
27.综上所述，本发明为涡轴/涡桨发动机机械液压产品的试验数据的有效利用，知识提取和试验决策提供了系统性的平台支持，为实现产品的智能化调试、排故和长试奠定了基础。
附图说明
28.图1为数据块概念；
29.图2为分布式文件系统架构；
30.图3为分布式海量试验数据存储写流程；
31.图4为分布式海量试验数据存储读流程；
32.图5为三种数据模型示意图；
33.图6为数仓-文本连接示例；
34.图7为系统插件功能增强机制框架；
35.图8为系统插件功能增强机制时序图。
具体实施方式
36.下面结合附图和实施例对本发明作进一步的说明，但并不作为对本发明限制的依据。
37.实施例1。一种涡轴涡桨发动机机械液压产品试验智能知识融合平台，构成如图1-8所示，所述平台包括分布式海量试验数据存储、数据仓库-文本知识融合和系统插件功能增强机制。其中分布式海量数据存储为基础，为海量试验数据的存储提供了灵活可扩展的方案；在此基础上，将海量数据通过数据仓库进行组织，利用本发明提出的知识融合方法，将非结构化的文本数据与数据仓库中存储的结构化数据通过url的形式链接，实现非结构化和结构化的融合，为后续知识提取和数据挖掘奠定基础；通过插件化设计，实现随时添加和更新决策算法的功能。该系统为涡轴/涡桨发动机机械液压产品的试验数据的有效利用，知识提取和试验决策提供了系统性的平台支持，为实现产品的智能化调试、排故和长试奠定了基础。具体地，分布式海量试验数据存储、数据仓库-文本知识融合和系统插件功能增强机制的设计如下：
38.1)分布式海量数据存储
39.当涡轴/涡桨发动机机械液压产品试验进行时，试验会产生大量数据，所以为了实现试验产生的海量数据快速存储并且实现数据可扩展功能，本发明将建立分布式海量试验数据存储架构,通过分布式文件系统实现海量数据的分布式存储。如图1所示分布式文件系
统上抽象出了数据块的概念，可以将其认为是分布式文件系统的特殊存储格式，当系统存储海量数据时，分布式文件系统将数据分割成多个数据块存储，不仅简化存储系统的设计，而且适用于数据的备份，迁移，扩容等功能，提高数据的容错性和扩展性。如图2所示分布式文件系统主要由namenode和datanode构成。namenode主要起元数据管理服务的作用，负责管理整个文件系统的命名空间，datanode作为分布式文件系统的工作节点负责存储数据，为客户端提供数据的读写服务。如图3所示在实现分布式文件系统写流程时，首先client和namenode建立连接，通过namenode查看元数据信息并将信息返回给client，然后client接收到namenode返回的datanode列表并与其建立连接让其准备接收数据。client将文件进行分块处理，将数据块和namenode返回的列表信息一起发送给datanode。如图4所示在实现分布式文件系统读流程时，client与namenode建立连接，namenode通过查询元数据信息，得到所需文件的数据块映射信息及存储数据块的datanode列表并发送给client，client得到信息后寻找最近可用的datanode取回数据块。资源管理与任务调度器中包含两个核心部分分别是resource manager和node manager，其中resource manager接受用户提交的分布式计算程序，并为其划分资源；管理、监控各个node manager上的资源情况，以便于均衡负载。node manager管理所在机器的运算资源，负责接受resource manager分配的任务，以及创建容器和回收资源。最后，在分布式文件系统和资源管理与任务调度器的支撑下，试验中获取的海量数据被存储在分布式数据仓库。
40.2)数据仓库-文本知识融合
41.关系型信息建模和基于层次结构的信息建模是两种常见的知识数据描述方法。关系型数据模型，是将所有数据以表格形式表现，表格中的关系由列定义表达，表格之间的关系由表格的主键描述。基于层次结构的数据模型，是通过层次结构来表示数据的建模方式，其通过父子结构来表达数据之间的关系，xml是最常见的层次结构数据模型。关系型数据模型和基于层次结构的数据模型如图5所示，这两种数据模型的应用已十分成熟，但是表示数据之间关系的手段较为单一，且缺乏语义信息，而且这两种方式建立的数据模型结构比较固定，不易进行数据扩展，不具有通用性。
42.如图5所示，基于图的数据模型将数据组织为有向图(directed graph)的形式，每个节点(node)代表一个数据，该数据也被称为资源(resource)，概念通过有方向的线段连接，这条有向线段叫做属性(property)或者谓词(predicate)。与关系型数据模型不同，基于图的数据模型中的任意两个数据都可以通过属性进行连接，而且也不存在层次的关系，表达形式灵活，任何新的结构都可以很容易的引入到已有的数据结构中，避免了关系型数据模型和层次结构数据模型不易扩展的问题，且数据表达结构通用。
43.本发明提出一种基于图数据模型的数据仓库-文本知识融合表达技术，将数据仓库(数据知识)和企业已有的文本(文本知识)定义为图数据模型中的资源，通过属性(有向线段)连接数仓和文本，文本通过搜索技术辅助知识提取，数仓通过数据挖掘辅助知识提取，同时利用图遍历技术实现数仓-文本关联性知识提取，通过上述三种技术的结合实现知识的深度挖掘与提取。
44.如图6所示为基于图数据的数仓-文本实例，这里存在三个数仓，两个文本，数仓和文本之间通过url进行连接。
45.使用场景1：用户通过搜索定位文本，例如查询某一种特定故障，该故障通过url连
接到所有相关的数仓，这些数仓中的数据都是与该产品故障相关的数据，我们就可以通过将这些数仓的数据合并，提供给对应的故障识别算法，进行故障决策模型的训练。
46.使用场景2：我们通过图关联遍历，发现数仓2同时关联了文本1和文本2，例如长试故障数据同时关联了长试相关文本(例如长试大纲)和故障相关文本(长试故障报告)，则这两个文本具有相关性，系统则自动将这两个文本进行关联。这样我们在浏览长试大纲的时候，也能关联到所有长试中所有的故障报告，从而增加了文本知识的连接维度。
47.3)系统插件功能增强机制
48.本发明开发了系统插件功能增强机制，用户可以按照规范，开发多种类型，多种功能的插件，并将这些插件进行编排，组成任务。如图7所示，系统插件功能增强机制的架构主要有用户操作界面，插件任务池，插件(内置/自定义)。平台用户界面提供插件管理和插件编排功能界面。插件可被内置于平台也可以用户自定义符合规范的插件上传至平台。插件在被使用时创建对应的插件任务池，这种机制可以减少频繁地创建和回收任务实例产生的系统开销，并节省存储资源。系统插件功能增强机制基于工作流调度引擎，其运行方式如图8所示，用户上传插件至智能知识融合平台，平台将插件保存至本地。然后创建流程，平台通过编排插件生成zip包上传至工作流调度引擎，工作流调度引擎返回工作流id。之后当用户执行/调度插件时，系统通过工作流引擎提交任务至资源管理与任务调度器，最后操作数据仓库来实现整个插件的功能。
49.实施例2。一种涡轴涡桨发动机机械液压产品试验智能知识融合平台，构成如图1-8所示，所述平台包括分布式海量试验数据存储、数据仓库-文本知识融合和系统插件功能增强机制；以分布式海量数据存储为基础，为试验产生的海量数据提供灵活可扩展的分布式存储方案；在此基础上，将海量数据通过数据仓库进行组织，基于数据仓库-文本知识融合，将非结构化的文本数据与数据仓库中存储的结构化的海量数据通过url的形式链接，实现非结构化和结构化的融合，为后续知识提取和数据挖掘奠定基础；通过系统插件功能增强机制，实现随时添加和更新决策算法的功能。
50.前述的灵活可扩展的分布式存储方案为：将海量数据分割成多个数据块进行存储。
51.前述的分布式海量数据存储的工作过程包括：
52.通过namenode模块对元数据进行管理服务，并负责管理整个分布式海量数据存储的文件命名空间；
53.将datanode模块作为分布式海量数据存储的工作节点负责存储被分割而成的数据块，为客户端client提供数据的读写服务。
54.前述的分布式海量数据存储的写流程如下执行：
55.首先client和namenode建立连接，通过namenode查看元数据信息并将信息返回给client，然后client接收到namenode返回的datanode列表并与其建立连接让其准备接收数据。client将文件进行分块处理，将数据块和namenode返回的列表信息一起发送给datanode。
56.前述的分布式海量数据存储的读流程如下执行：
57.client与namenode建立连接，namenode通过查询元数据信息，得到所需文件的数据块映射信息及存储数据块的datanode列表并发送给client，client得到信息后寻找最近
可用的datanode取回数据块。
58.前述的分布式海量数据存储的工作过程还包括：
59.通过资源管理与任务调度器中的resource manager模块接受用户提交的分布式计算程序，并为其划分资源；管理、监控各个node manager模块上的资源情况，以便于均衡负载；
60.通过资源管理与任务调度器中的node manager模块管理所在机器的运算资源，负责接受resource manager模块分配的任务，以及创建容器和回收资源；
61.在namenode模块、datanode模块及资源管理与任务调度器的支撑下，将海量数据存储在数据仓库。
62.前述的数据仓库-文本知识融合的工作过程如下：
63.基于图数据模型的数据仓库-文本知识融合表达技术，将数据仓库和企业已有的文本定义为图数据模型中的资源，通过有向线段连接数据仓库和文本；文本通过搜索技术辅助知识提取，数据仓库通过数据挖掘辅助知识提取，同时利用图遍历技术实现数据仓库-文本关联性知识提取，最终实现知识的深度挖掘与提取。
64.前述的系统插件功能增强机制的架构包括用户操作界面，插件任务池和插件；用户操作界面提供插件管理和插件编排功能界面；插件在被使用时创建对应的插件任务池；所述的系统插件功能增强机制的运行方式基于工作流调度引擎，具体如下：
65.用户上传插件至智能知识融合平台，平台将插件保存至本地；然后创建流程，平台通过编排插件生成zip包上传至工作流调度引擎，工作流调度引擎返回工作流id；之后当用户执行/调度插件时，平台通过工作流引擎提交任务至资源管理与任务调度器，最后操作数据仓库来实现整个插件的功能。