基于交错残差和原型约束的屋顶几何结构识别方法

本发明属于模式识别，具体涉及一种基于交错残差和原型约束的屋顶几何结构识别方法。

背景技术：

1、建筑物在地震、海啸等自然灾害中常常容易遭受重创。其中，屋顶的几何构造显著地揭示了建筑的整体结构强度，对于评估建筑物面对自然灾害时的脆弱性程度具起到重要作用。因此，为了满足灾前准备、灾后损害评估以及救援预案制定等实际需求，迅速且精确地从遥感图像中识别屋顶几何结构是图像分析与应用领域的一个重要问题。

2、由于遥感图像中建筑物的尺度变化大、不同屋顶的俯视特征差异弱以及与屋顶纹理相似的背景干扰等因素影响，单源遥感数据在反应屋顶几何结构上存在一定的局限。随着遥感技术和人工智能技术的发展，最近的屋顶几何结构识别方法往往采用多源遥感数据和神经网络技术。文献"z.zhang,k.liu,r.ding,t.xu,j.yao,and t.sun,“an end-to-endfeature-complementing method for building classification with residualnetwork,”in proc.intelligent equipment,robots,and vehicles,2021,pp.214–223."公开了一种基于全色锐化技术和残差神经网络的建筑物屋顶分类方法，该方法以校准后的全色图像和多光谱图像作为输入，应用gram-schmidt全色锐化技术和卷积层得到融合图像，再将融合图像输入残差神经网络得到屋顶结构分类结果。文献"y.zhou,y.tan,q.wen,w.wang,l.li,and z.li,“deep multimodal fusion model for building structuraltype recognition using multisource remote sensing images and building-relatedknowledge,”ieee journal of selected topics in applied earth observations andremote sensing,vol.16,pp.9646–9660,2023."提出了一种基于门控融合机制的方法，该方法利用伪孪生神经网络提取可见光图像和合成孔径雷达图像的特征，辅以基于建筑物相关的知识图谱提取的语义特征，再使用门控融合和级联融合方法得到最终的融合特征，用作最终屋顶类型识别的特征依据。

3、多源遥感图像成像机理不同，各类型图像间呈现的冗余性和互补性等特点多变，朴素的级联、相加或门控机制等难以始终有效地利用多源特征。另外，不同地域的气候、文化、经济差异和历史发展影响，某些屋顶结构更普遍，这导致数据集中各种几何结构的屋顶样本数量不平衡，影响模型偏好。因此，上述这些方法在实际应用中具有一定的局限。

技术实现思路

1、为了克服现有技术的不足，本发明提供了一种基于交错残差和原型约束的屋顶几何结构识别方法，首先进行深度特征提取，然后进行多源表征融合，最后对原型维护与识别。本发明有利于促进多源信息间的有效交互，与多源遥感图像的冗余互补等特性更为契合，有利于提升识别方法的鲁棒性。相较于现有方法，本发明提升了屋顶几何结构的识别精度1％～20％。

2、本发明解决其技术问题所采用的技术方案如下：

3、步骤1：深度特征提取；

4、输入单体建筑物的多源遥感图像数据对，进行缩放、裁剪、反转数据增强操作；

5、将增强后的图像输入深度卷积网络进行特征提取，得到建筑物屋顶的多源深度特征；

6、步骤2：多源表征融合；

7、将多源深度特征级联起来，应用两组全连接网络层分别挖掘多源深度信息的交互特征；

8、分别应用最大池化操作和平均池化操作汇聚多源深度特征和交互特征，通过汇聚特征得到残差系数并计算多源残差特征；

9、将多源深度特征和多源残差特征相加，形成最终的多源融合特征；

10、步骤3：原型维护与识别；

11、若当前样本的屋顶几何结构类型所对应的原型特征未初始化，则以零填充作为其原型特征；否则，按照指数平均移动方法跟新对应的原型特征；

12、对于网络训练阶段，计算多源融合特征和原型特征之间的余弦相似度作为原型约束，用以辅助参数更新；对于网络推理测试阶段，将多源融合特征输入全连接网络层进行分类，实现对屋顶几何结构的识别。

13、进一步地，所述步骤1具体为：

14、步骤1-1：对输入的多源遥感图像对施加一致的数据增强操作，以扩充数据模式；具体包括，沿随机边缘缩放图像、沿指定边缘缩放图像、随机反转图像以及按中心区域裁剪图像；

15、步骤1-2：将增强后的多源遥感图像对(x1,x2)作为输入，分别使用经过预训练的深度卷积网络f1(*；θ1)和f2(*；θ2)进行特征提取，得到多源深度特征z1、z2，即：

16、z1＝f1(x1；θ1),z2＝f2(x2；θ2)         (1)

17、其中，θ1和θ2代表网络参数。

18、进一步地，所述经过预训练的深度卷积网络为resnet50网络。

19、进一步地，所述步骤2具体为：

20、步骤2-1：按如下方式得到多源交互特征h1，h2：

21、h1＝g1([z1；z2]),h2＝g2([z1；z2])        (2)

22、其中，[*；*]是级联操作，g1(*)和g2(*)均是双层全连接网络层，彼此间参数独立；

23、步骤2-2.：分别使用最大池化操作和平均池化操作对多源深度特征z1、z2和多源交互特征h1，h2进行汇聚，得到汇聚特征相应地，两池化操作分别记作maxpool(*)和avgpool(*)：

24、

25、步骤2-3：根据下述公式计算残差系数w1、w2：

26、

27、其中，σ(*)为sigmoid函数；汇聚特征包含了多源信息之间潜在的交互关联，其分别与相乘有助于强化原始的多源深度特征中具有判别度的部分；

28、步骤2-4：根据残差系数得到残差特征w1z1、w2z2，并与多源深度特征相加，输出最终的融合特征z：

29、z＝z1+w1z1+z2+w2z2            (5)。

30、进一步地，所述步骤3具体为：

31、步骤3-1：判断当前样本所属的屋顶几何结构类型对应的原型特征pt是否完成初始化，t表示网络训练的轮次，若已完成初始化，则按照指数平均移动方式更新pt；否则，将p初始化为0；按照下列公式表示：

32、

33、其中，α是加权系数，pt-1是上一轮次的原型特征，是当前轮次中所有同类型样本的融合特征z的平均值；

34、步骤3-2：判断当前模型是否处于训练阶段；

35、若未处于训练阶段，则将多源融合特征z输入全连接网络层进行判别，得到屋顶几何结构的识别结果；否则，基于余弦相似度构造原型约束，与训练分类网络常用的交叉熵一起作为损失函数跟新网络参数，重复迭代直至训练阶段结束；

36、原型约束由如下公式计算：

37、

38、其中，||*‖为向量长度运算。

39、本发明的有益效果如下：

40、1、本发明提出基于交错残差的多源特征融合方法，有利于促进多源信息间的有效交互，与多源遥感图像的冗余互补等特性更为契合；

41、2、本发明利用原型特征作为约束，缓解了因地域差异造成的样本不平衡问题，有利于提升识别方法的鲁棒性；

42、3、识别精度显著提高。根据实验结果，相较于现有方法，本发明提升了屋顶几何结构的识别精度1％～20％。