基于多模态特征融合的遥感图像分类系统及方法与流程

本发明涉及数据融合，具体为基于多模态特征融合的遥感图像分类系统及方法。

背景技术：

1、遥感图像分类是通过处理和分析遥感图像数据来识别和分类地表物体或地物的一种技术。遥感图像通常来自卫星、无人机或航空器，利用各种传感器捕获地表的影像。遥感图像分类在农业、环境监测、城市规划、灾害管理等领域有广泛应用。

2、多模态特征融合是一种将来自不同模态的特征进行综合分析的方法，以提高分类或识别任务的准确性。在遥感图像分类中，不同传感器捕获的数据具有不同的优势和特征，通过融合这些多模态数据，可以充分利用它们的互补信息，从而提高分类的精度和鲁棒性。

3、多模态特征融合进行遥感图像分类时，融合多模态数据后，数据维度可能非常高，大大增加了计算复杂度和过拟合风险；不同模态数据之间的特征差异较大，难以有效的融合；此外，多模态模型在不同地区的泛化能力较弱，难以在其他区域上有效运用。

技术实现思路

1、本发明的目的在于提供基于多模态特征融合的遥感图像分类系统及方法，以解决上述背景技术中提出的问题。

2、为了解决上述技术问题，本发明提供如下技术方案：基于多模态特征融合的遥感图像分类系统，该系统包括：预处理模块、早期融合分类模块、特征工程模块以及模型融合分类模块；

3、所述预处理模块用于定义图像分类所依据的模态以及采集各模态对应的特征；所述早期融合分类模块用于对预处理模块得到的特征进行早期融合处理并训练模型对图像进行分类；所述特征工程模块用于根据早期融合分类模块得到的分类对特征进行降维处理并根据不同的分类对特征进行组合；所述模型融合分类模块用于对特征工程模块得到的特征组合进行模型融合处理、训练模型进行分类并对分类概率进行加权计算得出最后的分类结果；

4、所述预处理模块的输出端与所述早期融合分类模块的输入端相连接；所述早期融合分类模块的输出端与所述特征工程模块的输入端相连接；所述特征工程模块的输出端与所述模型融合分类模块的输入端相连接。

5、所述预处理模块包括：模态定义单元、数据准备单元以及特征提取单元；

6、所述模态定义单元用于定义图像分类所依据的模态；所述数据准备单元用于采集不同模态对应的数据信息；所述特征提取单元用于对不同模态对应的数据信息做出处理并提取出特征；

7、所述模态定义单元的输出端与所述数据准备单元的输入端相连接；所述数据准备单元的输出端与所述特征提取单元的输入端相连接；所述特征提取单元的输出端与所述早期融合分类模块的输入端相连接。

8、所述早期融合分类模块包括：特征融合单元、模型训练a单元以及分类预测a单元；

9、所述特征融合单元用于使用早期融合对特征进行融合；所述模型训练a单元用于根据特征融合单元所融合的特征及其对应的分类训练出分类模型；所述分类预测a单元用于根据模型训练a单元训练得出模型对未知标签的样本特征进行预测得到各分类的概率；

10、所述特征融合单元的输出端与所述模型训练a单元的输入端相连接；所述模型训练a单元的输出端与分类预测a单元的输入端相连接；所述分类预测a单元的输出端与所述特征工程模块的输入端相连接。

11、所述特征工程模块包括：特征降维单元以及特征组合单元；

12、所述特征降维单元用于根据特征数据及各分类的概率对特征进行降维处理；所述特征组合单元用于对不同分类降维得到的特征进行组合；

13、所述特征降维单元的输出端与所述特征组合单元的输入端相连接；所述特征组合单元的输出端与所述模型融合分类模块的输入端相连接。

14、所述模型融合分类模块包括：模型融合单元、模型训练b单元、分类预测b单元以及加权分类单元；

15、所述模型融合单元用于使用模型融合对特征进行融合；所述模型训练b单元用于根据模型融合单元所融合的特征及其对应的分类训练出分类模型；所述分类预测b单元用于根据模型训练b单元训练得出模型对未知标签的样本不同的组合特征进行预测得到不同组合各分类的概率；所述加权分类单元用于对样本不同组合得出的预测分类概率加权计算得出分类结果；

16、所述模型融合单元的输出端与所述模型训练b单元的输入端相连接；所述模型训练b单元的输出端与所述分类预测b单元的输入端相连接；所述分类预测b单元的输出端与所述加权分类单元的输入端相连接。

17、基于多模态特征融合的遥感图像分类方法，该方法包括以下步骤：

18、s1、定义遥感图像分类所使用的模态，采集各模态对应数据，对数据进行处理提取特征；

19、s2、对特征进行早期融合，训练分类算法对新样本进行分类预测；

20、s3、根据早期融合特征及其分类预测概率对特征进行降维；

21、s4、根据不同分类对特征进行组合，对组合特征使用模型融合，训练分类算法对未分类样本进行分类预测；

22、s5、对样本根据不同分类不同特征组合进行分类预测得到的不同概率做加权计算得到最终分类结果。

23、在步骤s1中，定义遥感图像分类所使用的模态为：{modal1,modal2,…,modaln}；

24、通过传感器采集各模态对应数据为：

25、modal1:[data11,data12,…,data1i]；

26、modal2:[data21,data22,…,data2j]；

27、……

28、modeln:[datan1,datan2,…,datank]；

29、提取的特征直接由数据表示或由数据加工处理后得到，可表示为：

30、modal1:[feature11,feature12,…,feature1r]；

31、modal2:[feature21,feature22,…,feature2s]；

32、……

33、modeln:[featuren1,featuren2,…,featurent]；

34、其中，i,j,k,n,r,s,t为正整数；modaln表示第n个模态；data1i表示第1个模态的第i条数据；data2j表示第2个模态的第j条数据；datank表示第n个模态的第k条数据；feature1r表示第1个模态的第r个特征；feature2s表示第2个模态的第s个特征；featurent表示第n个模态的第t个特征。

35、在步骤s2中，对特征进行早期融合具体方式为：

36、将提取的特征直接拼接成单个高维度的向量：[feature11,…,feature1r,feature21,…,feature2s,featuren1,…,featurent]；

37、使用机器学习算法lightgbm训练分类模型对未知样本进行预测输出分类预测概率：

38、训练集样本格式为：特征向量以及样本对应的标签；

39、构建决策树：每棵树通过递归分裂数据集，选择最佳分裂点以最小化交叉熵损失函数

40、其中，l为交叉熵损失函数，u为样本总数量，v为分类总数量，u∈{1,2,…,u}，v∈{1,2,…,v}，yuv表示样本u在分类v上的真实标签，puv表示样本u被预测为分类v的概率；

41、梯度提升：初始化模型预测为每个分类的均值，即迭代训练树，每次拟合残差，并更新模型fm+1(x)＝fm(x)+η·tm(x)；

42、其中，x为未知样本，m为迭代轮数；fm(x)为第m轮的预测模型，η为学习率，tm(x)为第m棵树的预测，fm+1(x)为更新后的模型；

43、softmax转换：对每个类别的预测值应用softmax函数

44、其中,w∈{1,2,…,v}，fv(x)是类别v的预测值，fw(x)是类别w的预测值，pv是类别v的概率。

45、在步骤s3中，使用斯皮尔曼等级相关系数来判断特征对各分类概率的影响：

46、对每个变量进行排序，得到它们的排名；对于每对数据点，计算两个变量的排名差异；根据排名差异计算斯皮尔曼等级相关系数：

47、

48、其中，c∈{1,2,…,e}，e为正整数，dc为第c个样本的两个变量排名之差，e为样本数量；

49、分别计算每个特征与每个分类之间的斯皮尔曼等级相关系数；相关系数的绝对值越接近1，表明该特征对该分类的影响越大；设置阈值z1，0<z1<1；当存在特征与分类概率的斯皮尔曼等级相关系数满足|1-|ρ||>z1时，认为该特征对该分类概率的影响较小；

50、对于每一种分类，选取满足阈值条件的特征，得到每一种分类对应的特征组合；

51、对于每一个未知样本，按照v种分类对应的特征将其分为v种不同的特征组合；

52、在步骤s4中，对组合特征使用模型融合具体方式为：

53、对于样本和未知样本对应于每一种分类的特征组合；构建多层lstm模型，将第一个模态的特征输入到第一层lstm得到隐藏层状态；将第二个模态的特征与第一层lstm的隐藏层状态拼接输入到第二层lstm得到第二层隐藏层状态；……；将第n个模态的特征与第n-1层lstm的隐藏层状态拼接输入到第n层lstm得到第n层隐藏层状态；

54、第n层隐藏层状态即为最后融合后的特征；样本作为训练集，构建lightgbm分类模型，对未知样本进行分类。

55、在步骤s5中，对于每一个未知样本，按照v种分类以及分类对应的特征将其分为v种不同的特征组合；每个样本v种特征组合经过分类后输出每一种分类的预测概率；分类v对应特征分类结果中预测为分类v的概率pv权重设置为q，其余分类对应特征分类结果中预测为分类v的概率p1～pv-1,pv+1～pv权重为则分类v的预测分类概率为计算v个分类的预测概率，选取最大值对应的分类作为最终分类结果。

56、与现有技术相比，本发明所达到的有益效果是：本发明通过多模态数据的特征融合与模型融合，能够充分利用不同数据源的信息，提高分类精度和效率；本发明使用了lightgbm和多层lstm机器学习算法，能够在保证分类效果的前提下，提高计算效率，适用于大规模遥感图像的分类任务；本发明使用了一种加权计算和降维方法，能够增强模型的鲁棒性，减少噪声特征的影响，提高最终分类结果的可靠性。