一种面向对地观测数据的数据中台的制作方法

本发明涉及应用软件集成，尤其涉及一种面向对地观测数据的数据中台。

背景技术：

1、经过持续建设，我国对地观测领域已有多个系列对地观测卫星在轨运行，所获取的数据在国土普查、森林调查、地图测绘、城市规划、灾害监测、气象预报和地质找矿等方面发挥了重要作用，但是，对地观测领域地面系统的建设以往由相关业务部门分头组织，陆地观测、测绘、气象等方向的地面系统“烟囱式”独立建设，卫星管控、数据管理、分发服务等系统共性统筹不够、重复投入较多；技术体制与标准规范不统一，系统互联互通互操作难；数据共享融合应用不充分，增值信息服务能力弱，难以最大程度发挥对地观测领域数据的应用效能，随着新体制、新任务、新技术、新要求的不断提出，原有地面系统能力和扩展建设模式已难以适应新形势。

2、数据中台是近年来在企业信息化和数字化转型过程中流行的一种数据管理模式，它作为一种新型的数据架构，旨在通过集中管理和分析企业内部和外部的数据资源，提供数据支持，以促进数据的共享、复用和价值挖掘；数据中台的核心理念是“数据资产化”，将数据作为一种宝贵的资源进行统一的管理和利用，数据中台起源于互联网企业，通过升级数据组织结构，利用有形的数学模型和实施方法，面向业务应用有效整合组织多源异构数据，持续累积数据资源形成数据资产，并向业务应用提供全局一致的、高效率的、定制化数据资源服务，形成“大中台、小前台”的数据组织和业务支撑体制，使前台业务能力的构建和调整优化更加敏捷，是解决数据共享交换难、融合应用不充分的有效手段。

3、因此，亟需将数据中台的理念引入对地观测领域，完成对地观测领域数据中台，以业务场景需求为驱动，通过对数据进行规范化清洗治理和统筹组织管理，并从时间、空间、事件等进行多维度关联，形成规范的数据资产体系和高效的数据服务能力，为对地观测卫星的任务规划，以及数据处理、数据应用等业务提供统一的数据服务。

技术实现思路

1、为此，本发明提供一种面向对地观测数据的数据中台，用以克服现有技术中对地观测领域传统的每颗/组卫星独立建设一套地面系统的建设模式，地面系统“烟囱式”的独立建设，导致卫星管控、数据管理、分发服务等系统共性统筹不够、重复投入较多，技术体制与标准规范不统一，系统互联互通互操作难的问题。

2、为实现上述目的，本发明提供一种面向对地观测数据的数据中台，包括，

3、集成框架模块，其用以为数据中台中各类内部服务组件和外部服务组件提供统一的集成约束与运行支持，以接收来自不同卫星和传感器的对地观测数据，并通过其内集成的插件管理单元、业务调度单元、日志管理单元和监控告警单元来确保数据中台的稳定运行；

4、数仓管理模块，其通过内部的汇聚集成子单元对接收到的观测数据进行汇聚和存储，通过清洗治理子单元对观测数据中的各数据进行质量检查和清洗，并对存在问题的数据，进行清洗和修复；

5、通过关联分析子单元对观测数据中的各数据进行处理和分析，并通过元数据管理单元和数据管理单元分别对观测数据中的元数据和数据资源目录进行管理和构建；

6、所述数仓管理模块还包括标签管理单元，所述汇聚集成子单元、所述清洗治理子单元以及所述关联分析子单元共同构建组成为数仓构建管理单元，对接收到的观测数据进行汇聚与存储；

7、数据服务模块，其通过基础数据服务单元、数据查询服务单元和数据分析服务单元对数据进行封装和开放，提供数据资产服务、数据检索查询服务和数据分析展示服务，以对处理后的观测数据进行展示。

8、进一步地，所述集成框架模块包括：

9、所述插件管理单元，用于对集成到数据中台内的各插件提供调度管理功能，以支持各插件进行测试与运行，辅助数据中台灵活配置各类插件对来自不同对地观测卫星和传感器处的观测数据进行处理；

10、所述业务调度单元，其作为数据中台运行的控制枢纽，用以为接收到的观测数据所要进行的各类任务提供统一的调度控制，以对观测数据中的各数据进行相应处理；

11、所述日志管理单元，其用以为数据中台提供统一的日志管理功能，辅助数据中台对错误问题进行诊断，对用户操作行为和系统运行情况进行分析；

12、所述监控告警单元，其用以对数据中台的运行状态进行监测与管理。

13、进一步地，所述集成框架模块还包括：

14、所述数仓管理模块包括所述数仓构建管理单元，数仓管理模块通过数仓构建管理单元根据观测数据的数据类型对接收到的观测数据进行分类存储，构建相关的资源目录，其中，数仓构建管理单元包括：

15、所述汇聚集成子单元，其通过实时数据在线引接和存量数据离线同步两种数据汇聚集成方式，对结构化、半结构化和非结构化的数据进行汇聚集成，以对观测数据中的各数据进行分类存储；

16、所述清洗治理子单元，用以为数据中台提供质量检查、数据去重、数据归一化以及数据修复功能，对观测数据进行数据清洗操作，以对存储的观测数据中的各数据进行检查，并对检测出的存在异常的数据进行修复；

17、所述关联分析子单元，用以对观测数据中所存在的大规模复杂数据集进行处理和分析，将数值和属性进行聚合，实现数据在时间和空间上的有效关联，对来自不同卫星和传感器的对地观测数据进行整合。

18、进一步地，所述数仓管理模块包括所述数仓构建管理单元，其包括：

19、所述汇聚集成子单元，其通过实时数据在线引接和存量数据离线同步两种数据汇聚集成方式，对结构化、半结构化和非结构化的数据进行汇聚集成，对观测数据中的各数据进行存储；

20、所述清洗治理子单元，用以为数据中台提供质量检查、数据去重、数据归一化以及数据修复功能，对观测数据进行数据清洗操作，对存储的观测数据中的各数据进行质量检查和清洗，并对检测出的存在异常的数据进行修复；

21、所述关联分析子单元，用以对观测数据中所存在的大规模复杂数据集进行处理和分析，将数值和属性进行聚合，实现数据在时间和空间上的有效关联，以支撑后续对观测数据的快速提取和应用。

22、进一步地，所述数仓管理模块还包括：

23、所述元数据管理单元，用以为数据中台提供元数据注册功能、元数据模型构建功能以及元数据更新功能，对观测数据中的元数据进行相关组织与管理，为后续数据管理单元对数据的管理提供指导和支持；

24、所述数据管理单元，用以为数据中台提供数据目录管理与配置功能、数据集成交换功能以及数据生命周期管理功能，以辅助数据中台构建数据资源目录，辅助后续对观测数据的质检与展示；

25、所述标签管理单元，用以辅助数据中台构建以业务价值为导向的标签体系，以辅助外界对所需观测数据的快速查找。

26、进一步地，所述数据服务模块包括：

27、所述基础数据服务单元，用以将数据中台中的数据资产提供至业务中台或用户处；

28、所述数据查询服务单元，其内设置有多种查询方式，以辅助用户对数据中台中的各类数据进行检索和查询；

29、所述数据分析服务单元，其用以为所述数据服务模块提供多维度数据统计分析功能，并通过数据报表和bi图的展现方式对分析结果进行展示以辅助外界对所存储的观测数据进行查询。

30、进一步地，所述汇聚集成子单元还具备数据源管理功能和数据引接策略管理功能；

31、其中，所述数据源管理功能，通过选择不同的数据源适配器和配置数据源连接信息，实现对各数据源的新增、配置修改、配置删除功能；

32、所述数据引接策略管理功能，通过对引接规则进行配置，制定并启动引接任务。

33、进一步地，所述清洗治理子单元中的所述质量检查功能能够对各种类型的数据进行质检规则配置与管理，形成质检模型；

34、所述数据去重功能对观测数据中的重复数据进行清理；

35、所述数据归一化功能根据元数据标准对数据格式进行统一；

36、所述数据修复功能用以对问题数据进行修复处理。

37、进一步地，所述关联分析子单元包括多维分析功能、属性关联功能、时空关联功能以及知识图谱功能，其中：

38、所述多维分析功能，用以将数据按时间、类型或范围维度进行统计，为后续对多源数据的分析提供支撑；

39、所述属性关联功能，用以根据观测区域、载荷类型、数据类型、任务类型对多源数据进行关联聚合，形成数据集合；

40、所述时空关联功能，用以支撑多源数据进行融合应用，实现地表变换监测和变化信息提取功能；

41、所述知识图谱功能，用以支持知识图谱动态构建和更新，实现数据实体间关联关系的构建，对外提供知识服务访问接口。

42、进一步地，所述插件管理单元包括插件注册子单元、插件生命周期管理子单元和插件目录管理子单元，其中：

43、所述插件注册子单元，用以提供支撑数据汇聚集成、清洗治理、数据管理、数据服务以及数据应用的脚本类和容器类插件的注册功能；

44、所述插件生命周期管理子单元，用以对插件的上线、插件的下线、插件的卸载操作以及插件版本的更新替换进行管理；

45、所述插件目录管理子单元，用以将各类插件以目录树的形式进行分类分组管理。

46、与现有技术相比，本发明的有益效果在于，通过集合集成框架模块、数仓管理模块、数据服务模块三大架构模块构建面向对地观测领域数据特点和业务应用场景的数据中台，实现了各业务方向和各系列卫星数据的集中汇聚，以集成化的管理方式提高了数据共享的效率，满足跨领域数据共享的需求，促进各数据的综合利用，方便对地观测数据的数据集成与共享，打破原有的数据“烟囱”和数据共享融合的“壁垒”，使数据资源能更充分地发挥效能。

47、进一步地，通过集成框架模块为数据中台中的各类服务组件提供了统一的集成约束与运行支持，确保了系统内部和外部的服务组件能够协同工作，提高了系统的整体效率和稳定性。

48、尤其，通过数仓管理模块对观测数据进行全面汇聚和处理，构建更为高效的数据仓库，并为上层应用提供了强有力的数据支撑，确保了数据的标准化、易查找和高可用性，提高对数据的管理效率，并根据所接收到的观测数据的类型对其进行分类存储，以便后续查询调用。

49、进一步地，通过数据服务模块提供更为灵活的数据服务方式，以促进数据的广泛利用，增强系统的适应性和业务创新能力。

50、尤其，通过数据中台的建设，提高了相关系统对对地观测数据的业务与数据的解耦能力，使得数据处理和业务流程的调整更加灵活，通过构建专注于数据管理和服务提升的数据中台，使业务应用更专注于业务能力的增强，提高了系统的持续集成能力。

51、进一步地，通过集合集成框架模块、数仓管理模块、数据服务模块三大架构模块构建而成的数据中台，进一步地提升了其对数据挖掘与分析的能力，使其不仅可以对数据进行集成，还可通过构建数据仓库和多源数据的属性关联，挖掘出高价值的信息，进一步丰富数据资产，提升数据价值。

52、尤其，通过设置的数据服务模块使得构建的数据中台能够快速响应新业务需求，提供按需快速获取和分析数据的能力，支持新业务的快速构建和落地，使其能更适应社会和经济的快速发展，满足地图测绘、森林调查等行业对数据产品的多样化需求。