一种针对遥感影像及属性信息缺失的数据清洗方法、装置与流程

本发明涉及遥感大数据清洗，具体涉及一种针对遥感影像及属性信息缺失的数据清洗方法、装置。

背景技术：

1、在实际应用中，由于卫星遥感影像数据获取渠道以及对其建模的差异等原因，造成卫星遥感影像数据中心、各用户单位等获取的诸如遥感影像本身及其配套的属性文件之类的遥感影像数据包含不完整的数据，会影响数据抽取模式的正确性和导出规则的准确性，从而产生不准确的分析结果和决策。

2、缺失数据是一种常见的脏数据，它的存在是破坏数据完整性的一个主要因素，有必要对其做适当的处理。传统的数据缺失一般是指结构化数据缺失，遥感影像属于非结构化数据，由于其自身的特殊性，其数据缺失现象主要分为两类：一类为遥感影像实体数据的缺失，即影像本身存在数据缺失，其特征通过记录无法识别，需要在影像生产前通过相关算法对其进行剔除或处理，基于目前影像信息的缺失现象，主要包括横向条带、纵向条带、局部像元信息缺失和图像波段异常4种情况。另一类为关键属性记录信息的缺失，主要发生在遥感影像配套的属性数据库文件中（诸如，xml数据、配套的数据库表等），例如景编目数据中存在经纬度、载荷、成像模式、接收站等关键字段信息会出现缺失，造成对景成像数据的查询效率低、图像利用率低、任务无法下发等业务问题，这类缺失数据可以通过检测算法直接发现。

3、因此，遥感影像数据由于其自身的复杂性，本身传统的单一结构化缺失数据、非结构化缺失数据处理方法不适用于遥感影像数据缺失处理，需要通过一种针对遥感影像及其属性信息缺失的数据清洗策略，通过过滤掉无法满足需求的影像，完善影像属性信息记录，提高影像的生产效率、数据分析的准确性及使用价值，也为大规模遥感影像数据清洗提供技术支撑。

技术实现思路

1、有鉴于此，本公开实施例提供一种针对遥感影像及属性信息缺失的数据清洗方法、装置，至少部分解决现有技术中存在的问题。

2、第一方面，本公开实施例提供了一种针对遥感影像及属性信息缺失的数据清洗方法包括：

3、获取遥感影像数据集，所述遥感影像数据集包括遥感影像数据和与所述遥感影像数据对应的属性信息；

4、对所述遥感影像数据集进行缺失检查，其中对所述遥感影像数据的缺失检查包括遥感影像数据条带检测、遥感影像数据局部异常检测和波段异常检测；以及

5、对缺失的遥感影像数据和属性信息进行处理。

6、在一个具体实现方式中，遥感影像数据条带检测包括行方向条带检测和列方向条带检测，

7、其中所述行方向条带检测包括：

8、获取所有波段的行均值参数；

9、计算相邻两行之间的行均值梯度；以及

10、在所述行均值梯度大于第一阈值的情况下则确定所述遥感影像数据为行信息缺失；

11、其中所述列方向条带检测包括：

12、获取所有波段的列均值参数；

13、计算相邻两列之间的行均值梯度；以及

14、在所述列均值梯度大于第二阈值的情况下则确定所述遥感影像数据为列信息缺失。

15、在一个具体实现方式中，遥感影像数据局部异常检测包括通过下式来判断是否存在遥感影像数据局部异常：

16、

17、式中，、分别为行和列方向像素值连续为 x的像元个数， length为地面实际距离，此处取阈值 n， gsd为影像分辨率，单位为 m，并且当满足以上条件时，则确定存在遥感影像数据局部异常。

18、在一个具体实现方式中，当满足下式中的某一个时则判断存在波段异常：

19、

20、式中，为第波段单个像素的像素值，为第波段单个像素的像素值，和分别代表不同波段，为某个波段像元值的最大值，为对应波段像元值的最小值。

21、在一个具体实现方式中，对缺失的遥感影像数据进行处理包括：

22、当缺失的遥感影像数据进存在替换数据的情况下，直接剔除所述缺失的遥感影像数据。

23、在一个具体实现方式中，对缺失的遥感影像数据进行处理包括通过基于多时相影像信息的修复算法对遥感影像缺失部分进行修复，并且包括：

24、获取多源遥感影像数据集，并判断遥感影像数据是否存在影像缺失情况；

25、构建多源遥感影像数据缺失样本数据集；

26、对缺失遥感影像数据进行全局遍历，通过计算每个时相块与遥感影像缺失部分之间的相似性测度，选取相似度最高的时相块作为时相互补信息，并通过线性回归变换减小时相差异；

27、对遥感影像缺失部分和所选取的具有最高相似度的时相块利用多个尺度卷积滤波器进行特征提取，并将提取结果进行融合；

28、构建改进的gan 遥感影像缺失修复模型，对模型进行训练，确定模型参数设置；以及

29、利用改进的gan 遥感影像缺失修复模型修复遥感影像缺失部分。

30、在一个具体实现方式中，还对缺失的遥感影像数据贴上标签，以在数据库中记录行列缺失位置或者波段异常位置。

31、在一个具体实现方式中，所述方法还包括对所述属性信息进行缺失检测，包括：

32、对遥感影像数据对应的属性信息进行检查，以确定不允许为空的属性值是否为空；

33、建立元数据xml与属性数据库表之间的缺失识别规则，对属性数据库中的内容进行检验以确定数据是否缺失；以及

34、对元数据xml信息进行挖掘，以填充属性数据库中的缺失数据。

35、在一个具体实现方式中，所述对元数据xml信息进行挖掘，以填充属性数据库中的缺失数据，包括：

36、元数据信息提取，包括数据库表元数据信息提取和元数据xml文件信息提取；

37、元数据属性信息入库，将提取到的元数据属性信息引接入库到数据仓库表中；

38、元数据内容校验，对入表后的元数据属性信息，制定质量校验规则；

39、利用大数据应用平台通用建模治理工具研制图像数据属性缺失校验规则组件；

40、通过关联规则等算法建立校验识别缺失规则，对缺失数据进行检测；以及

41、通过关联元数据xml属性信息，修复回填到缺失数据字段中。

42、第二方面，本公开实施例提供了一种针对遥感影像及属性信息缺失的数据清洗装置，包括：

43、遥感影像数据集获取装置，用于获取遥感影像数据集，所述遥感影像数据集包括遥感影像数据和与所述遥感影像数据对应的属性信息；

44、缺失检查装置，用于对所述遥感影像数据集进行缺失检查，其中对所述遥感影像数据的缺失检查包括遥感影像数据条带检测、遥感影像数据局部异常检测和波段异常检测；以及

45、处理装置，用于对缺失的遥感影像数据和属性信息进行处理。

46、本公开实施例中的针对遥感影像及属性信息缺失的数据清洗方法包括：获取遥感影像数据集，所述遥感影像数据集包括遥感影像数据和与所述遥感影像数据对应的属性信息；对所述遥感影像数据集进行缺失检查，其中对所述遥感影像数据的缺失检查包括遥感影像数据条带检测、遥感影像数据局部异常检测和波段异常检测；以及对缺失的遥感影像数据和属性信息进行处理，通过本公开的方案，能够有效解决遥感影像在实际业务生产过程中因影像及属性信息缺失造成的非必要生产、处理、访问异常等业务问题，同时本技术也可用于大规模遥感影像业务化生产处理、清洗治理、数据服务等系统中，支撑大规模影像清洗处理或者影像质量检查。