电力数据治理系统、方法、装置、设备、介质及程序产品与流程

本技术涉及人工智能，尤其涉及一种电力数据治理系统、方法、装置、设备、介质及程序产品。

背景技术：

1、多模态数据治理是指在企业海量多模态数据管理中分配决策权和相关职责，多模态数据治理的目标，总体来说就是提高数据质量，在降低企业风险的同时，实现数据资产价值的最大化。

2、多模态数据治理平台架构主要包括数据存储、数据计算、数据管理、数据应用，其中数据存储层基于分布式的大数据存储平台，具有很强的存储能力和扩张能力；数据计算层是数据治理的最主要部分，包括数据的探查、提取、清洗、转换、集成等。这些计算任务都是基于大数据分布式的计算能力，应用批处理和流式处理技术，通过任务调度器，实现对调度任务的执行、管理与监控；数据管理层对集成后的数据统一维护与管理，包括对数据质量的检测、数据安全控制、数据血缘的监控、元素管理等；数据应用层是数据价值最直接的体现，基于自然语言处理、数据挖掘算法模型等技术对数据分析挖掘，包括统计分析、比对碰撞、关联分析、数据挖掘等，将分析结果提供给上层应用，如构建专题库、主题库、构建知识图谱等。

3、多模态检索研究近年来发展迅速，在多模态检索任务中利用深度学习的方法也越来越丰富。当前多模态检索的主流方法是基于公共空间学习的方法，其依据是不同模态数据具有相似的语义，如数据中的对象、方位、背景等语义信息，而相似语义的数据具有潜在相关性，从而使得构建公共空间并将不同媒体类型的数据投影到这个空间进行相关性度量成为可能。基于公共空间学习的方法的目的是学习一个公共空间，并显式地将不同媒体类型的数据投影到这个空间进行相关性度量。首先分别提取不同模态数据的特征，然后学习多模态数据的公共表示，最后进行多模态的匹配与排名。

4、但是，由于相关技术中主要围绕结构化数据进行电力数据的治理，而随着电力行业智能化水平提高，电力数据主要分布在图像、文本等非结构化数据，模态多样，对于这些非结构化数据，特别是针对多模态数据的治理准确度较低，且管理效率较低。

技术实现思路

1、有鉴于此，本技术的目的在于提出一种电力数据治理系统、方法、装置、设备、介质及程序产品。

2、基于上述目的，在第一方面，本技术提供了一种电力数据治理系统，所述系统包括：

3、数据仓库架构，用于将获取到的电力样本数据划分为多个主题域，将各个主题域中相同类型的电力样本数据分解提取至相同的数据流中，并利用olap将所述电力样本数据存储于多维数组中以提供数据查询和数据分析服务；

4、湖仓一体架构，用于通过实时监控电力业务数据库日志以采集所述电力样本数据，并将所述电力样本数据传输至所述数据仓库架构，以及接收所述数据仓库架构通过数据查询和数据分析服务处理后的目标数据，通过服务接口提供至外部业务系统；

5、多模态治理模块，用于对所述湖仓一体架构采集到的所述电力样本数据进行分析以确定是否存在稀缺数据；

6、响应于存在所述稀缺数据，则对所述稀缺数据进行增广以对样本进行超分辨重建以得到重建样本数据，并根据所述电力样本数据和所述重建样本数据得到多模态样本数据；

7、确定所述多模态样本数据对应的元数据标签是否至少部分缺失；

8、响应于所述多模态样本数据对应的元数据标签不存在任何缺失部分，则根据所述多模态样本数据形成样本画像，并基于所述样本画像根据检索条件提供目标样本数据。

9、在一种可能的实现方式中，所述数据仓库架构，包括：

10、数据源层，用于获取内部数据和外部数据；其中，所述内部数据是在电网生产过程中通过数据中台和/或各网省人工智能平台获取的，所述外部数据为与所述电力样本数据相关联的非结构化数据。

11、在一种可能的实现方式中，所述数据仓库架构，还包括：

12、数据存储与管理层，用于利用参数化etl方法对从所述数据源层抽取的所述电力样本数据进行转换和清洗，以将不同主题域的电力样本数据中的差异化因素抽象为系统参数配置，以使不同主题域的异构数据能够通过修改所述系统参数配置接入所述数据仓库架构，以及，按照所述主题域分别存储所述电力样本数据，并根据电力行业元数据监测并维护所述电力样本数据。

13、在一种可能的实现方式中，所述数据仓库架构，还包括：

14、olap与数据挖掘层和应用层；

15、所述olap与数据挖掘层，用于利用olap从多角度汇总和抽象数据，通过聚集查询技术提取各类电力样本数据，并利用混合型olap将电力样本数据中的电力业务细节数据存储在关系型数据库中，将聚集后的电力样本数据存储在多维数组中以供所述应用层向外部业务系统提供数据查询和数据分析服务。

16、在一种可能的实现方式中，所述湖仓一体架构，包括：

17、采集层，用于利用oracle、sqlserver和/或mysql数据库实时监控电力业务数据库日志以采集所述电力样本数据。

18、在一种可能的实现方式中，所述湖仓一体架构，还包括：

19、存储层，用于支持针对所述电力业务数据的基于分布式文件系统的文件存储、简单存储服务、对象存储以及结构化、时序、文档、图像数据存储。

20、在一种可能的实现方式中，所述湖仓一体架构，还包括：

21、计算层和服务层；

22、所述计算层，用于通过内置的大数据计算引擎，提供用于集成和开发所述电力样本数据的计算环境；

23、所述服务层，用于提供服务接口；所述服务接口用于向所述外部业务系统提供针对所述电力业务数据的存储、查询、访问、共享以及开发服务功能。

24、在一种可能的实现方式中，所述多模态治理模块，用于在所述多模态样本数据对应的元数据标签至少部分缺失时，通过预先获取的图像描述模型根据至少部分缺失元数据标签的多模态样本数据生成粗粒度样本画像，基于所述粗粒度样本画像确定所述多模态样本数据对应的样本画像，并利用所述样本画像更新所述多模态治理模块中的电力多模态样本知识图谱。

25、在一种可能的实现方式中，所述多模态治理模块，还用于当接收到检索文本数据时，基于预先获取的语义识别模型确定所述检索文本数据对应的目标语义，并确定所述目标语义对应的目标样本数据。

26、在一种可能的实现方式中，所述多模态治理模块，还用于当接收到电力缺陷样本样例图像数据时，通过预先获取的图像描述模型确定与所述电力缺陷样本样例图像数据之间的相似度达到预设阈值的相似图像数据，并根据所述相似图像数据确定所述目标样本数据。

27、在一种可能的实现方式中，所述多模态治理模块，还用于当接收到检索文本数据时，基于预先获取的语义识别模型确定所述检索文本数据对应的目标语义，并确定所述目标语义对应的图像样本数据；

28、通过预先获取的图像描述模型确定与所述图像样本数据之间的相似度达到预设阈值的相似图像数据，并根据所述相似图像数据确定所述目标样本数据。

29、在第二方面，本技术提供了一种应用如第一方面所述的电力数据治理系统的电力数据治理方法，所述方法包括：

30、利用湖仓一体架构通过实时监控电力业务数据库日志以采集所述电力样本数据，并将所述电力样本数据传输至所述数据仓库架构；

31、利用数据仓库架构将获取到的电力样本数据划分为多个主题域，将各个主题域中相同类型的电力样本数据分解提取至相同的数据流中，并利用olap将所述电力样本数据存储于多维数组中以提供数据查询和数据分析服务，并将通过数据查询和数据分析服务处理后的目标数据传输至所述湖仓一体架构；

32、利用所述湖仓一体架构接收所述数据仓库架构通过数据查询和数据分析服务处理后的目标数据，通过服务接口提供至外部业务系统；

33、利用多模态治理模块对所述湖仓一体架构采集到的所述电力样本数据进行分析以确定是否存在稀缺数据；

34、响应于存在所述稀缺数据，则利用多模态治理模块对所述稀缺数据进行增广以对样本进行超分辨重建以得到重建样本数据，并根据所述电力样本数据和所述重建样本数据得到多模态样本数据；

35、确定所述多模态样本数据对应的元数据标签是否至少部分缺失；

36、响应于所述多模态样本数据对应的元数据标签不存在任何缺失部分，则利用多模态治理模块根据所述多模态样本数据形成样本画像，并基于所述样本画像根据检索条件提供目标样本数据。

37、在第三方面，本技术提供了一种电力数据治理装置，所述装置包括：

38、采集模块，被配置为利用湖仓一体架构通过实时监控电力业务数据库日志以采集所述电力样本数据，并将所述电力样本数据传输至所述数据仓库架构；

39、第一处理模块，被配置为利用数据仓库架构将获取到的电力样本数据划分为多个主题域，将各个主题域中相同类型的电力样本数据分解提取至相同的数据流中，并利用olap将所述电力样本数据存储于多维数组中以提供数据查询和数据分析服务，并将通过数据查询和数据分析服务处理后的目标数据传输至所述湖仓一体架构；

40、服务提供模块，被配置为利用所述湖仓一体架构接收所述数据仓库架构通过数据查询和数据分析服务处理后的目标数据，通过服务接口提供至外部业务系统；

41、第一确定模块，被配置为利用多模态治理模块对所述湖仓一体架构采集到的所述电力样本数据进行分析以确定是否存在稀缺数据；

42、第二处理模块，被配置为响应于存在所述稀缺数据，则利用多模态治理模块对所述稀缺数据进行增广以对样本进行超分辨重建以得到重建样本数据，并根据所述电力样本数据和所述重建样本数据得到多模态样本数据；

43、第二确定模块，被配置为确定所述多模态样本数据对应的元数据标签是否至少部分缺失；

44、智能检索模块，被配置为响应于所述多模态样本数据对应的元数据标签不存在任何缺失部分，则利用多模态治理模块根据所述多模态样本数据形成样本画像，并基于所述样本画像根据检索条件提供目标样本数据。

45、在第四方面，本技术提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第二方面所述的电力数据治理方法。

46、在第五方面，本技术提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行如第二方面所述的电力数据治理方法。

47、在第六方面，本技术提供了一种计算机程序产品，包括计算机程序指令，当所述计算机程序指令在计算机上运行时，使得计算机执行如第二方面所述的电力数据治理方法。

48、从上面所述可以看出，本技术提供的一种电力数据治理系统、方法、装置、设备、介质及程序产品，数据仓库架构，用于将获取到的电力样本数据划分为多个主题域，将各个主题域中相同类型的电力样本数据分解提取至相同的数据流中，并利用olap将所述电力样本数据存储于多维数组中以提供数据查询和数据分析服务；湖仓一体架构，用于通过实时监控电力业务数据库日志以采集所述电力样本数据，并将所述电力样本数据传输至所述数据仓库架构，以及接收所述数据仓库架构通过数据查询和数据分析服务处理后的目标数据，通过服务接口提供至外部业务系统；多模态治理模块，用于对所述湖仓一体架构采集到的所述电力样本数据进行分析以确定是否存在稀缺数据；响应于存在所述稀缺数据，则对所述稀缺数据进行增广以对样本进行超分辨重建以得到重建样本数据，并根据所述电力样本数据和所述重建样本数据得到多模态样本数据；确定所述多模态样本数据对应的元数据标签是否至少部分缺失；响应于所述多模态样本数据对应的元数据标签不存在任何缺失部分，则根据所述多模态样本数据形成样本画像，并基于所述样本画像根据检索条件提供目标样本数据。本技术提供的系统优化了高质量样本库数仓底座，实现多模态样本实时融合分析治理，从而提升高质量样本库综合应用效率，保障多模态样本治理有序、稳步推进，促进样本价值高效下沉与精准赋能。