对地观测领域数据仓库设计方法与流程

本发明涉及数据处理，尤其涉及一种对地观测领域数据仓库设计方法。

背景技术：

1、随科技的进步和信息技术的不断发展，信息全球化推动了各领域的数据应用不断向数字化演进，大数据时代随之到来，传统的数据库已经无法满足对地观测领域数据应用需求，为了更好的组织、管理、有效利用数据，各业务节点纷纷构建了面向节点业务的数据仓库。

2、但现有的面向节点业务构建的数据仓库仅具备跨节点数据共享共用硬件基础，但缺乏合理、高效的数据跨节点共享机制，存在数据应用效益不高以及共享融合困难等突出问题，跨节点的数据难以实现共享和融合，面向跨节点数据的应用保障能力不足。因此，如何利用当前的大数据应用平台或系统，实现统一标准下的数据整合加工，达到对地观测领域各节点数据资源的高效共享和协同运用，是对地观测领域数据应用领域亟待解决的问题。

技术实现思路

1、为解决上述现有技术中存在的技术问题，本发明的目的在于提供一种的对地观测领域数据仓库的设计方法、电子设备及存储介质，实现多源异构对地观测数据的高质量、按需共享，满足精准、精确、精细的节点业务数据保障要求。

2、为实现上述发明目的，本发明提供了一种对地观测领域数据仓库的设计方法，包括以下步骤：

3、步骤s1、按照数据引接、数据融合、数据汇总和数据加工的层次对对地观测领域数据仓库进行分层设计，每层的数据处理功能基于上一层数据处理结果而实现；

4、步骤s2、根据所述对地观测领域数据仓库的分层结构，进行所述对地观测领域数据仓库中各层数据的建模设计；

5、步骤s3、基于所述对地观测领域数据仓库的分层结构和数据模型，设计所述对地观测领域数据仓库的业务架构；

6、步骤s4、基于对地观测领域数据仓库分层结构、数据模型以及业务架构，构建面向不同业务节点的对地观测领域数据仓库层级结构。

7、根据本发明的一个技术方案，所述数据仓库的分层结构包括操作数据层、明细数据层、数据中间层、数据服务层、数据应用层。

8、根据本发明的一个技术方案，所述操作数据层用于将现有各节点业务系统中存储管理的数据、产品，按照接口规范要求和字段映射关系进行直接引接，并形成节点大数据集；

9、所述明细数据层用于对所述操作数据层的数据进行清洗和规范化的操作后，形成清洗治理成果数据；所述明细数据层的数据结构与粒度与所述源数据一致；

10、所述数据中间层用于对所述清洗治理成果数据进行轻度的汇总集合，生成中间统计表格，按照业务主题，对明细数据层的多源异构数据进行整合，形成跨节点融合主题域；

11、所述数据服务层用于根据所述数据中间层的所述跨节点融合主题域，构建不同所述跨节点融合主题域间的关联模型，形成主题域信息汇总数据，并根据所述主题域信息汇总数据，构建主题域间关联产品；

12、所述数据应用层根据所述数据服务层的数据和用户的应用需求，形成可直接服务于应用的数据集，以满足业务及性能需求、向特定应用组装应用数据。

13、根据本发明的一个技术方案，在所述步骤s2中，所述数据的建模设计包括需求分析、概念模型设计、逻辑模型设计、物理模型设计和模型验证与优化五个阶段；具体包括以下步骤：

14、步骤s21、在需求分析阶段，通过需求分析明确需求所涵盖的业务范围，重点梳理业务需求及数据范围，并明确技术架构，选择参考模型；

15、步骤s22、在概念模型设计阶段，对需求范围内的业务及其间关系进行高度概括性的描述，把密切相关业务对象进行归类，即划分主题域；

16、步骤s23、在逻辑模型设计阶段，分别对概念模型的各个主题进行细化，定义实体、描述实体之间的关系，并产生实体关系图，然后遵照规范化思想在实体关系的基础上明确各个实体的属性，进行逻辑设计、主题库逻辑模型设计和专题库逻辑模型设计；

17、步骤s24、在物理模型设计阶段，根据所述逻辑模型针对具体的分析需求和物理平台采取相应的优化策略；

18、步骤s25、在数据仓库建模验证和优化过程中，不断监控业务应用情况，收集使用信息，对需求和模型进行验证，不断进行模型的优化与演进。

19、根据本发明的一个技术方案，在步骤s3中，所述业务架构包括数据接引、跨节点融合、数据汇总、数据加工，具体包括以下步骤：

20、步骤s31、根据数据类型，将各节点数据引接至所述操作数据层，形成不同的节点大数据集，存储在所述操作数据层中；

21、步骤s32、设计对地观测领域跨节点数据标签体系，根据所述数据标签体系对所述操作数据层的数据打上不同的标签；

22、步骤s33、根据所述节点大数据集，进行跨节点数据融合，构建跨节点融合主题域，将跨节点融合后的数据分类到各所述跨节点融合主题域中，设计并构建每个所述跨节点融合主题域的数据模型；

23、步骤s34、基于各所述跨节点融合主题域，进行汇总，形成主题域信息汇总数据；建立维度和指标，形成主题域间关联产品；

24、步骤s35、根据用户需求，对所述数据服务层的数据进行加工，形成对地观测领域面向具体应用的专题库数据集；

25、步骤s36、针对引接、融合、加工形成的数据集进行稽核规则设计，形成数据质量报告；并且针对每条数据进行血缘分析和溯源数据，形成数据地图；形成的数据集以服务的形式进行发布，供其他业务系统使用。

26、根据本发明的一个技术方案，在所述步骤s31中，所述数据引接包括对结构化数据的引接和对非结构化数据的引接；

27、在对结构化数据引接时，保留数据源关系的原始分类和表的主要结构，并在源数据的基础上增加时间戳、来源信息；

28、对于非结构化数据，通过文件共享或以ftp方式存放在分布式文件系统上，在引接时检验接入数据的元数据是否符合元数据标准，不符合元数据标准的数据无法接入。

29、根据本发明的一个技术方案，所述标签的类型包括各节点基础数据标签、业务特征标签、应用服务标签。

30、根据本发明的一个技术方案，所述跨节点融合主题域包括区域主题、事件主题、任务主题、载荷主题、观测对象主题、任务规划主题；

31、所述主题域内信息汇总以宽表的形式保存，包括区域信息汇总、事件信息汇总、任务信息汇总、载荷信息汇总、观测对象信息汇总；

32、所述主题域间关联产品包括区域-载荷数据产品、观测对象-事件数据产品、区域-任务数据产品、影像数据-任务产品、事件-气象产品。

33、根据本发明的一个方面，提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述的对地观测领域数据仓库的设计方法。

34、根据本发明的一个方面，提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，实现上述的对地观测领域数据仓库的设计方法。

35、本发明与现有技术相比，具有如下有益效果：

36、(1)数据仓库分层设计：针对对地观测领域多业务节点数据特点，采用分层设计方法设计数据仓库，在充分利用各节点数据优势基础上，简化数据的处理环节，减少烟囱式的数据开发过程，提供稳定、可扩展、灵活的数据组织结构，提高数据服务的效率。

37、(2)自顶向下、逐步求精的建模方法：对地观测领域数据仓库采用“自顶向下、逐步求精”的方法对数据仓库进行建模，针对每层数据设计相应的数据模型，分别按照为需求分析、概念模型、逻辑模型、物理模型以及模型验证与优化五个阶段进行设计。通过数据模型，建立起各业务系统与数据仓库之间的映射关系，排除数据描述的不一致性。

38、(3)对地观测领域数据标签标记方法：针对对地观测领域不同节点多种数据源，对于引接、融合、汇总、加工数据进行数据分层存储，在缓冲层存放原始业务数据，从贴源层开始增加跨节点数据标签，通过自动、手动等方式分别为不同数据类型打标签，增加时间戳和来源信息，为后续经过整合、汇总、应用层处理的数据回溯提供支撑。

39、(4)形成面向对地观测领域跨节点应用的大数据集：对地观测领域数据仓库以各节点大数据集的结构化、非结构化数据为输入，从下至上将数据流逐步转化为业务流，输出面向业务应用的跨节点大数据集，支撑不同节点日常或应急条件下快速的多源数据共享和应用。