基于人工智能的多颗超光谱卫星系统偏差修正方法

本发明属于环境监测，具体涉及一种基于人工智能的多颗超光谱卫星系统偏差修正方法。

背景技术：

1、当前环境大气中，存在大量浓度占比低，但对人类生产生活有着重大影响的气体，如甲醛、二氧化氮这种大气污染物，它们过高的浓度会对环境以及人体造成负面影响，又如甲烷、二氧化碳这种温室气体，它们的浓度的增长会导致地球整体温度的上升。因此，获取长期的、大范围的气体浓度数据对于区域环境治理以及控制全球碳排放具有重要意义。当前，卫星遥感监测技术是一种快捷、准确且有效的方式，它能够基于高光谱卫星，反演获取大范围、长时间的多种气体浓度分布数据。这便于广域分析多种气体浓度关系，以及对于污染物与温室气体的控制。

2、然而，由于各个卫星在监测仪器参数、载荷性能以及各处研究机构反演气体时使用的算法等方面的不同，不同卫星的同种气体反演数据之间常常存在偏差，且该偏差与时间以及空间相关。这导致在需要联合使用多颗卫星的气体浓度数据进行长时间大范围分析时，会存在不同卫星反演的气体浓度数据在时间以及空间上不连续的问题。该问题会使得最终得到的气体浓度时间序列在不同卫星观测时间段交界处存在跳值，或是不同卫星得到的气体浓度数据在相同地区存在不同的空间分布分析得到的结论存在错误。由于该偏差与多种参数相互耦合，且各种参数对于偏差的影响常常未知。因此寻常的代数方法难以构建较为准确的偏差关系方程。针对以上问题，本发明提出一种基于人工智能的多颗超光谱卫星系统偏差修正方法。

技术实现思路

1、针对当前现有技术的缺陷，本发明的目的在于提供一种基于人工智能的多颗超光谱卫星之间偏差的修正方法。

2、本发明提供的基于人工智能的多颗超光谱卫星之间偏差的修正方法，具体步骤为：

3、步骤s1:根据两个卫星气体浓度数据集的时空覆盖区间，定义两个卫星气体浓度数据集相邻与存在连接；根据所需融合的卫星气体浓度数据集的相邻以及存在连接情况，判断是否能对所有卫星气体浓度数据集进行融合；确定标准数据集；

4、根据卫星数据集相邻与连接定义，确定任一数据集是否与所有数据集存在连接，并以其中质量最优的数据集作为基准，逐步融合相邻数据集；

5、步骤s2:进行初始步骤，对两个相邻数据集的数据进行过滤，调整过滤后两个数据集的数据的排序；具体包括：获取所需融合的两个卫星气体浓度数据集，确定数据集中包含的数据种类；根据卫星气体浓度数据集官方文档或是其它标准，筛选并提取卫星气体浓度数据集中的数据；使用排序方法对于数据集中的数据进行排序，获取处理后的数据集；

6、步骤s3:基于调整后的两个数据集，对数据集中的数据进行时空匹配，生成匹配数据集；具体地，对处理后的标准数据集a0，以及待融合的数据集b0，遍历寻找匹配的数据，生成数据对；将遍历得到的数据对汇总，生成数据对数据集p；

7、步骤s4:对匹配数据集中的每一类数据进行归一化处理；按照时间顺序，对数据集进行划分；

8、步骤s5:基于划分的训练集，生成输入参数、标签，构建机器学习模型，并进行训练，设置评价函数，调整模型超参数，获取融合数据集；具体地，根据待融合数据集b0，构建机器学习所需的标签数据以及输入参数向量；构建机器学习模型，预设机器学习模型所需的超参数；使用输入参数向量与标签数据对初始超参数设置下的模型进行训练迭代；将训练结果与标签数据通过评价函数进行评估；基于评估结果，选取最优的一组超参数，并以该超参数设置下的模型为最终完成模型；将使用最终完成模型对与标准数据集进行融合的数据集进行处理，合并生成后的数据集与标准数据集，生成新的标准数据集。

9、进一步地，步骤s1中：

10、所述卫星气体浓度数据集的时空覆盖区间包括：以日为单位的时间覆盖区间，根据卫星观测点中心位置以及卫星空间分辨率确定的空间覆盖区间。

11、所述卫星气体浓度数据集相邻的定义为：对于卫星气体浓度数据集a、b，若数据集a与b在空间覆盖以及时间覆盖上存在重合，且按照步骤s2、s3处理后得到的数据对不少于200个，则称数据集a与数据集b相邻。

12、所述卫星气体浓度数据集存在连接的定义为：对于卫星气体浓度数据集a、b、c，若a与b相邻，b与c相邻，则称a与c之间存在连接。

13、所述判断是否能对所有卫星气体浓度数据集进行融合的方法为：对于所有需进行融合的卫星气体浓度数据集中的任一数据集，需与其它所有数据集之间存在连接。

14、所述确定标准数据集的方式包括：以数据集气体浓度数据与实际气体浓度平均绝对系统偏差最小的数据集作为标准数据集，平均绝对系统偏差如下：

15、

16、其中，m(a)为气体浓度数据集a的平均绝对系统偏差，a为a中的一条气体浓度数据，ar为对应位置与时间的真实气体浓度，n为数据集a含有的数据条数。

17、进一步地，步骤s2中：

18、所述确定数据集中包含的数据种类包括：数据采集时间、数据采集经纬度、反演得到的气体浓度、qa值，气象辅助数据。

19、所述筛选并提取卫星气体浓度数据集中数据的方法包括:若数据集中包含官方提供的qa值，则保留qa＝1的数据，将其它数据进行去除。若不包含qa值，则将反演最终得到的模拟光谱与实际采集光谱的标准差大于一定值的数据进行去除，该筛选标准不固定，可根据反演气体与实际情况进行经验确定。除此以外，可加入其它物理限制，包括但不限于该数据点中心的云量大于一定值等方式。

20、所述排序方法包括：使用包括但不限于timsort等排序方式，根据数据中的采集时间，对各数据按照采集时间先后进行排序。

21、进一步地，步骤s3中：

22、所述遍历寻找匹配的数据包括：对于b0中的所有数据，依次在a0中寻找在时间以及空间上匹配的数据。对于b0中的数据得到数据对的过程有公式如下：

23、

24、

25、其中，为a0中的数据，为根据经纬度计算与两个数据点之间的距离，为计算与两个数据点之间的时间差，为数据点的气体浓度数据。对于数据需要在a0中寻找所有满足数据点中心的差距小于5km,时间差值小于1hour的数据。

26、所述生成数据对包括：需要在a0中寻找所有满足数据点中心的差距小于5km，时间差值小于1hour的数据，若在a0中至少存在一条数据与匹配，则将这些数据的气体浓度数据进行平均，得到标签浓度数据da,并构建一个数据对

27、进一步地，步骤s4中：

28、所述归一化处理的方式包括：使用maxmin方法对数据集p中的各项数据进行归一化处理，以对标签浓度数据da举例，归一化的公式如下所示：

29、

30、其中，da为数据集p中所有da的集合。max(da)表示da的最大值，min(da)表示da的最小值。

31、所述划分数据集的方法包括:按照时间顺序，以一定比例(如8:1:1)将数据集p划分为训练数据集、验证数据集以及测试数据集。该比例可以根据数据集p实际情况进行调整。

32、进一步地，步骤s5中：

33、基于待融合数据集b0，构建机器学习所需的标签数据以及输入参数向量；构建机器学习模型，预设机器学习模型所需的超参数；使用输入参数向量与标签数据对初始超参数设置下的模型进行训练迭代；将训练结果与标签数据通过评价函数进行评估；基于评估结果，选取最优的一组超参数，并以该超参数设置下的模型为最终完成模型；将使用最终完成模型对与标准数据集进行融合的数据集进行处理，合并生成后的数据集与标准数据集，生成新的标准数据集。

34、所述构建标签数据以及输入参数向量包括：将数据对中的da作为标签数据，在中选取全部或是部分会导致两个数据集的气体浓度数据产生差异的参数作为系统输入参数，并构建输入参数向量，其中已经已知可能较为重要的输入参数如表1所示，在构建输入参数向量时可以进行参考，但不限于表1中的参数。

35、所述机器学习模型包括但不限于lightgbm、随机森林模型等机器学习模型。

36、所述预设机器学习模型所需的超参数包括，模型的估计器个数、学习率、正则化参数等。

37、所述训练迭代包括：对于其中一组超参数设置，使用归一化后的训练数据集生成的输入向量，对模型进行训练，使模型不断迭代，完成一次模型训练。

38、所述将训练结果与标签数据通过评价函数进行评估包括：使用验证数据集中的数据生成输入参数向量，输入训练完成的模型中，得到验证结果dva，将验证结果与验证数据集中的标签数据da进行对比。通过评估函数得到评估结果

39、所述评估函数包括：评价函数可根据情况自行确定，当前设置两个数据的平均绝对百分比误差作为评价函数，即：

40、

41、本发明提供的基于人工智能修正多颗超光谱卫星之间系统偏差的修正系统，包括：

42、模块m1、模块m2、模块m3、模块m4、模块m5，它们分别执行基于人工智能的多颗超光谱卫星之间偏差的修正方法的5个步骤的操作。

43、本发明较传统的系统偏差修正技术，有着速度以及修正性能上的优势。传统的系统偏差修正技术，需要多个已知的相关参数，并根据这些相关参数构建复杂的误差修正关系式，且该关系式常存在着大量的假设与偏差，导致实际使用传统方式来进行系统偏差修正不能达到很好的效果。本发明基于人工智能技术，隐式地构建需要进行系统偏差修正的数据集之间的数据关系，且通过修正该数据关系使得进行系统偏差修正的数据集之间的系统偏差达到最小。较传统方法，本发明省去了大量构建关系式以及修正系统偏差的时间，同时较传统方式有着更高的精度。