一种顾及空间补缺和降尺度的卫星遥感AOD数据重构方法

本发明涉及大气环境监测，具体涉及一种顾及空间补缺和降尺度的卫星遥感aod数据重构方法。

背景技术：

1、气溶胶对气候变化和人类健康研究具有重要意义。在我国，气溶胶是影响大气环境质量的主要污染物之一。气溶胶光学厚度(aerosol optical depth，简称aod)是描述大气浑浊度和气溶胶总含量的重要参数之一。目前，获取aod数据的主要方法包括地基观测和卫星遥感。地基观测具有高精度和强时间连续性的优点，但由于站点数量有限，其空间覆盖范围有限，因此不适用于大范围监测。卫星遥感观测因具有较高的空间覆盖和时间分辨率的特点，可实现全球范围监测，已成为监测aod的重要手段。但是，卫星遥感受天气因素的影响，获取的aod数据在时空上仍存在大量的缺失。

2、此外，在现阶段的诸多研究中，例如城市污染溯源和暴露健康风险精细化评估，迫切需要获取高分辨率数据以捕捉城市内部和局部尺度上的变化，尤其是百米级分辨率的aod数据。然而当前的卫星遥感aod产品普遍在公里尺度，分辨率不高，难以满足研究需求。因此，开展数据无缺失的高空间分辨率的aod研究尤为重要。

3、当前获取空间覆盖完整的卫星遥感aod的研究已经取得了一定的进展，主要方法包括：空间插值、多源aod数据融合和统计建模估算。空间插值方法简单便捷，可以填补缺失aod缺失，但其精度状况受aod原始数据的空间覆盖度及精度的限制。多源aod数据融合尽管可以获得空间全覆盖的aod数据，但是数据源之间往往存在较大差异，融合的结果可能会带来一定的误差，从而导致精度下降。统计建模估算获得的aod数据可达到全覆盖的效果，但对辅助要素的选取和数据量有较强的依赖。

4、aod降尺度当前也有许多尝试，主要有插值降尺度和统计降尺度。其中插值降尺度简单快捷，但是降尺度效果较差，只是在空间上平滑了aod。统计降尺度方法可以较好实现降尺度，但是需要较多辅助要素且计算量较大。现如今大部分技术只考虑到空间补缺或只考虑空间降尺度，未考虑到两者同时实现的方法。

5、经过检索发现：

6、公开号为：cn114117899a，公开日期为：2022.03.01，发明名称为《一种卫星数据的时空填充方法、系统、计算机设备》，公开了一种卫星数据的时空填充方法、系统、计算机设备。该方法包括：获取初始数据集；结合时间插值模型与空间插值模型对初始数据集进行数据补缺。本技术解决缺乏高时间分辨率卫星数据补缺算法的技术问题。

7、公开号为：cn111859304b，公开日期为：2023.11.21，发明名称为《一种基于时空自相关性的卫星气溶胶缺失预测方法及系统》，该方法公开了一种基于时空自相关性的卫星气溶胶缺失预测方法及系统，其方法包括：创建覆盖目标区域的网格，并获得每个网格中心点的投影坐标；将目标区域的aod以及介导卫星aod时空自相关性的变量分别重采样到网格中，并匹配网格与数据，将每日数据形成单独数据集；基于卫星aod时空自相关性建立预测数据集；对预测数据集重复抽样多次，每一次抽样均构建基于广义加和模型的缺失预测模型；基于所建立的多个缺失预测模型分别预测aod缺失数据，将每个网格多次预测平均值作为最终aod预测值。本发明在考虑卫星aod具有时间和空间自相关性的同时，对卫星aod的缺失进行预测。通过对比预测值与遥感监测值，获得的预测准确度的指标反映该方法缺失预测准确度高。

8、综上所述，急需设计一种顾及空间补缺和降尺度的卫星遥感aod数据重构方法以解决现有技术中所存在的卫星遥感aod数据缺失与空间分辨率不足的问题。

技术实现思路

1、本发明的目的在于提供一种顾及空间补缺和降尺度的卫星遥感aod数据重构方法，通过机器学习和空间统计技术，能够从大量数据中学习到卫星遥感aod数据与辅助因子之间的统计回归关系，从而实现aod缺失信息的准确重构，能够在数据补缺的同时实现空间降尺度，避免了大量的重复统计运算，能够快速高效地实现aod数据补缺和空间降尺度，完成卫星遥感aod数据缺失的补充和提高空间分辨率。具体技术方案如下：

2、一种顾及空间补缺和降尺度的卫星遥感aod数据重构方法，包括如下步骤：

3、步骤一、收集某区域时间超过一个月以上的卫星遥感aod数据、辅助因子数据和地基验证数据，其中：辅助因子数据包括数值模式aod数据、地形数据、土地利用类型数据、植被增强指数数据、相对湿度数据、大气边界层高度数据、总降水量数据、地表气压数据、气温数据、露点温度数据、风速数据以及风向数据；地基验证数据为aeronet地基监测数据；

4、步骤二、对步骤一所收集的卫星遥感aod数据、辅助因子数据和地基验证数据进行预处理，得到与卫星遥感aod数据相同空间尺度的原始空间分辨率数据集和空间降尺度想要达到的目标空间分辨率数据集；

5、基于随机森林算法构建一个aod空间补缺降尺度初始模型，将原始空间分辨率数据集输入aod空间补缺降尺度初始模型，得到最优辅助因子；

6、将最优辅助因子输入到aod空间补缺降尺度初始模型中进行迭代训练得到aod空间补缺降尺度最优模型；

7、步骤三、将目标空间分辨率数据集中的最优辅助因子以及时间变量输入aod空间补缺降尺度最优模型中进行在目标空间分辨率尺度上的aod数据重构，得到空间补缺且降尺度的卫星遥感aod数据。

8、优选的，所述步骤二中预处理包括：

9、投影变换处理，具体是：对卫星遥感aod数据和辅助因子数据进行投影转换，使用arcgis软件进行投影转换，统一到wgs1984坐标系中：

10、空间匹配处理，具体是：将卫星遥感aod数据和辅助因子数据进行空间匹配，其中：高空间分辨率到低空间分辨率的空间匹配采用重采样方法，低空间分辨率到高空间分辨率的空间匹配采用插值方法；

11、空值数据剔除处理，具体是：将卫星遥感aod数据和辅助因子数据进行空值数据剔除处理；

12、将卫星遥感aod数据和辅助因子数据根据空间匹配处理和空值数据剔除处理的结果制作成与卫星遥感aod数据相同空间尺度的原始空间分辨率数据集和空间降尺度想要达到的目标空间分辨率数据集。

13、优选的，重采样方法使用平均的统计方法来进行，公式如下：

14、

15、其中：rh是高空间分辨率数据；rl是低空间分辨率数据；(lonp,latp)是高空间分辨率数据中的像素坐标；(lon,lat)是低空间分辨率数据中对应的像素坐标；n是每个低空间分辨率数据中像素涵盖的高空间分辨率数据中像素数；

16、插值方法使用双线性插值的方法，公式如下：

17、f(lon,lat)＝(1-w)(1-h)f(lon1,lat1)+w(1-h)f(lon2,lat1)+(1-w)hf(lon1,lat2)+whf(lon2,lat2)；

18、w＝(lon-lon1)/(lon2-lon1)；

19、h＝(lat-lat1)/(lat2-lat1)；

20、其中：(lon1,lat1)、(lon2,lat1)、(lon1,lat2)和(lon2,lat2)分别为四个已知数据点，对应的像素值分别为f(lon1,lat1)、f(lon2,lat1)、f(lon1,lat2)和f(lon2,lat2)；w和h表示目标位置相对于已知数据点的水平和垂直距离比例，f(lon,lat)为估计点像素值；

21、空值数据剔除处理具体是：对卫星遥感aod数据存在缺失数据的位置与时间进行标记，然后根据标记对同一空间位置和时间的辅助因子数据进行数据剔除。

22、优选的，还包括波段转换处理，具体是：使用angstrom指数对卫星遥感aod数据相邻波段的地基验证数据进行插值得到卫星遥感aod数据波段的aod值，计算表达式如下：

23、

24、

25、其中：α表示angstrom指数，λ1和λ2示卫星遥感aod数据两个相邻波段的波长，λ3表示卫星遥感aod数据波长；和表示λ1和λ2所对应的aod值；τ表示卫星遥感aod数据同波段的地基验证aod。

26、优选的，所述步骤二中aod空间补缺降尺度初始模型如下：

27、aodsat～rf(aodr，mete，dem，luc，evi，time)；

28、

29、其中：aodsat表示卫星遥感aod数据；aodr表示aod再分析数据；mete表示气象变量组成的矩阵；dem表示地形数据；luc表示土地利用类型数据；evi表示植被增强指数数据；time表示对应的观测时刻；rf表示随机森林模型；x表示aod数值模式、mete、dem、evi和time；ti表示第i棵决策树；di表示第i棵决策树的训练数据集；n表示决策树的数量；m表示叶节点最小样本数；sur表示代理分裂功能；ps表示自变量选择标准；oobp表示袋外预测功能；oobpi表示袋外自变量重要性估计功能；method表示方法类型；on表示功能开启；curvature表示使用曲率作为选择标准，regression表示方法类型为回归模型。

30、优选的，最优辅助因子获得方法包括：

31、通过如下袋外误差估计值计算公式计算袋外自变量重要性估计值：

32、

33、其中：baseline oob error为其他自变量进行分裂得到一个基准袋外样本预测误差；vi(k)为自变量k重要性估计值；oob error(k)为自变量k进行分裂时的袋外样本预测误差，袋外样本预测误差oob error的计算表达式为：n表示样本总数，yj表示第j个样本的真实标签，f-j(xj)表示使用其他样本训练得到的随机森林模型在第j个样本上的预测结果，l为损失函数；

34、根据重要性估计值，得到最优辅助因子。

35、优选的，进行迭代训练得到aod空间补缺降尺度最优模型的过程包括：

36、步骤①、将最优辅助因子输入到aod空间补缺降尺度初始模型得到如下表达式：

37、aodsat～rf(oif1,oif2,……,oifn,time)[n＝50,m＝30,sur＝on,ps＝curvature,oobp＝on,oobpi＝on,method＝regression]；

38、其中：oif1-oifn表示最优辅助因子中的第1项至第n项；

39、设置决定系数r2、均方根误差rmse以及平均偏差bias为模型评价指标，如下：

40、

41、其中：y与x分别为空间补缺降尺度的aod与卫星遥感aod；s为匹配样本数；为平均算子；∑*为求和算子；为根号算子；

42、步骤②、将卫星遥感aod和最优辅助因子、时间变量构成的数据集固定随机打乱，数据集60％用作训练集，数据集40％用作测试集；使用训练集进行模型训练以及使用测试集进行建模的预期效果检验获取模型精度状况；

43、步骤③、根据模型精度状况进行判断，具体是：如果测试集的均方根误差rmse小于0.1且平均偏差bias小于0.001，则精度指标符合要求，停止进行模型迭代，得到aod空间补缺降尺度最优模型；否则，对模型进行参数优化和调整，返回步骤②；

44、模型优化和调整的参数包括决策树的个数和叶节点的深度，初始决策树个数为50，叶节点最小样本数为30，参数调整的公式如下：

45、nr+1＝nr+10；

46、mr+1＝mr+10；

47、其中：ni、mi分别为第r次迭代时策树的个数和叶节点的最小样本数，迭代每次增加的策树的个数和叶节点的最小样本数为10；

48、aod空间补缺降尺度最优模型的参数如下：

49、

50、其中：n_opt和m_opt表示n和m的最优参数。

51、优选的，所述步骤三中aod数据重构包括：

52、目标空间分辨率：

53、

54、除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将实施例对本发明作进一步详细的说明。