一种顾及角点特征的边缘建筑物提取方法及系统

1.本发明设计图像处理领域，更具体地说，涉及一种基于深度学习的边缘建筑物提取方法及系统。


背景技术：

2.随着国家航天技术的发展，遥感图像应用于社会的各个方面。由于城市建设的快速发展等各方面原因，建筑物的提取成为了地理数据库更新与建设的重要内容。随着城市建设发展，建筑物成为地理数据库中最容易发生变化的部分，为了保证地图库数据的准确性与完整性，需要定期完成建筑物的提取与更新。高分辨率遥感影像能够提供细致的纹理、几何结构等空间信息特征。但遥感影像多尺度特征以及地物边缘锯齿化等特点，给基于遥感影像的建筑物提取带来了很大的困难。
3.一些专家针对基于遥感影像的建筑物提取做了相关的研究，这些方法可以分为基于对象分割的建筑物提取方法、基于建筑物特征的建筑物提取方法以及基于辅助信息的建筑物提取方法。但是，基于对象分割的建筑物提取方法，需要人工设置大量参数，在分割结果分类的准确性以及对噪声的处理上不能呈现出较为理想的效果。基于建筑物特征的建筑物提取方法，由于遥感影像地物遮挡以及高分辨率遥感影像噪声影像，使得该方法的使用有着较大的局限性。基于辅助信息的建筑物提取方法，对于辅助信息的依赖程度高，需要获取的信息较多，加大了计算成本且相对复杂，对基于遥感影像的建筑物提取带来了一定的困难。
4.因此，研究一种有效的建筑物提取方法，可以使得地理数据库中建筑物数据的更新更加可靠。


技术实现要素：

5.本发明提供一种顾及角点特征的边缘建筑物提取方法及系统，结合深度学习特征学习方法和计算机图形学方法，通过网络模型学习特征，能够实现复杂地物场景下，直接端对端对遥感影像数据的边缘轮廓细化建筑物提取，利用深度学习方法不需要额外的环境要求，不存在过多的局限性，能够实现各种复杂条件下的建筑物提取，并且可以对每张遥感影像进行自适应学习，大大减少运算了时间，提高了提取精度。
6.一种顾及角点特征的边缘建筑物提取方法，包括以下步骤：
7.s1、对获取的原始遥感图像数据进行特征提取操作，得到遥感图像的特征图p；
8.s2、对特征图p设置不同尺度与形状的多个锚框，每个锚框对应一个检测实物，多个锚框满足基本覆盖图像各个尺度与形状的要求；
9.s3、通过卷积神经网络对步骤s2处理得到的带有锚框的遥感图像特征图数据进行处理，然后经过二分类器进行选择，得到遥感图像特征图中的有效锚框；
10.s4、采用卷积神经网络和线性回归变换方法对步骤s2处理得到的带有锚框的遥感图像特征图数据进行处理，获取到锚框的偏移量；
11.s5、将步骤s3处理得到的有效锚框数据以及步骤s4处理得到的锚框偏移量信息输入至卷积神经网络和全连接层进行处理，得到地物对象的类别以及目标检测框预测数据；
12.s6、利用步骤s5处理得到的地物对象类别和目标检测框预测数据，使用线性插值算法对步骤s1处理得到的遥感图像的特征图p进行裁切处理，充分利用特征图中虚拟点四周的四个真实存在的像素值共同计算目标图中的一个像素值，实现图像缩放，得到固定大小的新的特征图；
13.s7、采用步骤s5中所述的卷积神经网络以及全连接层对步骤s6处理得到的新的特征图进行处理，得到更为精确的新的目标检测框预测数据及其目标检测框内地物对象所属类别；
14.s8、将步骤s6处理得到的新的特征图输入至边缘锐化模型，得到地物对象的边缘数据。
15.进一步的，步骤s1中首先将原始遥感图像重塑为固定大小的遥感图像，然后经过卷积神经网络，最终提取出遥感影像数据中的地物特征，得到所述的遥感图像的特征图p。
16.进一步的，步骤s3中通过卷积神经网络对带有锚框的遥感图像特征图数据进行处理的过程为：首先，对带有锚框的遥感图像特征图数据进行卷积核大小为1的卷积操作；其次，对卷积操作得到的结果进行形状重塑，按照行优先的顺序转换成1
×
n的张量，其中n与遥感图像特征图数据量大小相同，并通过步骤s3中所述二分类器获取每一个锚框的二分类结果，该二分类结果包括为该锚框内包含地物和该锚框内不包含地物，其中，所述二分类器由softmax函数实现，所述有效锚框即二分类结果中包含地物的锚框。
17.进一步的，步骤s4中首先对带有锚框的遥感图像特征图数据进行卷积核大小为1的卷积操作，然后通过线性变换，得到以遥感图像数据特征图锚框坐标为基的锚框坐标偏移量信息。
18.进一步的，步骤s5中所述的卷积神经网络处理以及全连接层的选择和回归的具体步骤为：
19.s51、将步骤s3中二分类器选择得到的有效锚框以及步骤s4中所得的锚框偏移量信息作为数据输入，综合锚框偏移变化量和二分类结果中的有效锚框，计算出地物目标检测框的尺寸和位置；
20.s52、利用步骤s51中处理得到的地物目标检测框的尺寸和位置信息，对步骤s1处理得到的遥感图像特征图p使用双线性插值算法进行图像裁切与形状重塑，处理得到固定大小的地物特征图；
21.s53、通过卷积神经网络以及全连接层回归方法对步骤s52中处理得到的地物特征图进行处理，得到目标检测框预测数据；
22.s54、将步骤s52中处理得到的地物特征图，输入至卷积神经网络、全连接层计算以及softmax分类处理，得到每个地物目标检测框内地物所属类别，其中地物所属类别包括建筑物与非建筑物。
23.进一步的，步骤s3-s5中通过卷积神经网络模型训练，全连接层以及利用softmax函数实现的二分类器进行数据处理，得到地物对象的类别以及目标检测框预测数据，其中，卷积神经网络模型训练时使用交叉熵损失函数对参数进行更新，该交叉熵卷积神经网络的损失函数公式为：
[0024][0025]
其中n
cls
为批量大小；n
reg
为目标检测框数量；pi为目标检测框的预测分类概率；为目标检测框的真实分类，目标检测框为正样本时目标检测框为负样本时ti为目标检测框预测偏移量参数化坐标；为目标检测框真实偏移量参数化坐标。其表示公式为：
[0026][0027][0028][0029][0030]
其中，x,y,w,h为目标检测框的中心点坐标，宽度以及高度；“·”表示目标检测框的预测值，“·
a”表示目标检测框的初始值，“·
*”表示目标检测框的真实值。
[0031]
其中为分类运算的损失函数，具体公式为：
[0032][0033]
为回归运算的损失函数，表示在目标检测框为正样本时才会进行损失计算。具体公式为：
[0034][0035][0036][0037]
进一步的，步骤s8中，将步骤s6处理得到的裁切结果输入至边缘锐化模型，得到地物对象的边缘数据的步骤为：
[0038]
s81、将步骤s6处理得到的新的特征图输入至全卷积网络，以像素到像素的方式对分割掩膜进行预测；
[0039]
s82、利用步骤s81处理得到的分割掩码预测结果，在图像平面中自适应选择预测分割标签的点，使用双线性插值算法对步骤s81中得到的分割掩膜预测结果进行上采样；在上采样网格中选取一定数量最不确定的像素点，使用随机抽样法从均匀分布的像素点中随机抽取一定数量的样本点，从抽取的样本点中选取一定数量最不确定的像素点；
[0040]
s83、通过组合低层特征和高层特征，利用步骤s82选取的像素点构建逐点特征，其中低层特征为步骤s6得到的新的特征图通过形状重塑转换为1
×
n的特征向量，其中n与遥感图像特征图数据量大小相同；高层特征为步骤s81处理得到的分割掩码预测。
[0041]
s84、将步骤s83处理得到的逐点特征输入到多层感知机，对各点进行分类预测，所有点共享权重，通过多层感知机训练得到边缘锐化后的分割掩膜预测结果，即地物对象的边缘数据。
[0042]
进一步的，步骤s8中所述边缘锐化模型的损失函数公式为：
[0043][0044]
其中n
mask
为输出类别数；yi为分割掩膜预测结果；为分割掩膜真实结果。
[0045]
一种顾及角点特征的边缘建筑物提取系统，用于实现上述边缘建筑物提取方法，该系统包括以下模块：
[0046]
特征提取模块，用于对获取的原始遥感图像数据进行特征提取以及特征图生成；
[0047]
锚框设置模块，用于对特征提取模块中生成的特征图进行锚框设置；
[0048]
有效锚框获取模块，用于对带有锚框的遥感图像特征图数据进行有效锚框选择；
[0049]
锚框偏移量获取模块，用于通过卷积神经网络和线性回归变换对带有锚框的遥感图像特征图数据进行处理，得到锚框的偏移量；
[0050]
目标检测模块，用于将得到的有效锚框数据以及锚框偏移量信息输入至卷积神经网络和全连接层进行处理，得到地物对象的类别以及目标检测框预测数据；
[0051]
特征处理模块，用于根据地物对象类别和目标检测框预测数据，采用使用线性插值算法得到独立地物固定大小的新的特征图；
[0052]
新的目标检测框获取模块，用于采用卷积神经网络以及全连接层对得到的新的特征图进行处理，得到新的地物对象的类别以及新的目标检测框预测数据；
[0053]
边缘锐化模块，用于将得到的新的特征图输入至边缘锐化模型，得到地物对象的边缘数据。
[0054]
实施本发明的顾及角点特征的边缘建筑物提取研究方法，具有以下有益效果：
[0055]
1、本发明将深度学习特征学习方法和计算机图形学方法进行结合用于边缘建筑物提取，能够对复杂地物场景下的遥感影像数据进行端对端的边缘轮廓细化建筑物提取；
[0056]
2、本发明引入边缘锐化模型，改进了深度学习特征学习方法中提取建筑物轮廓模糊不清的情况，以计算机图形学中渲染的思想，使用细分策略高效的计算高分辨率分割图，提高了建筑物边缘的图像分割效果，使其在复杂地物场景下的建筑物边缘提取中有更好的表现。
附图说明
[0057]
下面将结合附图及实施例对本发明作进一步说明，附图中：
[0058]
图1为本发明方法的技术流程图。
[0059]
图2为本发明方法的结构原理图。
[0060]
图3为本发明方法中目标检测的实例流程图。
[0061]
图4为本发明方法中边缘提取的实例流程图。
具体实施方式
[0062]
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。
[0063]
请参考图1，图1为本发明提出的一种顾及角点特征的边缘建筑物提取方法的流程图，包括以下步骤：
[0064]
s1、对获取的原始遥感图像数据进行特征提取操作，得到遥感图像的特征图p；
[0065]
s2、对经步骤s1处理后的遥感图像特征图p设置不同尺度与形状的锚框，得到一组满足基本覆盖图像各个尺度与形状的要求的锚框；
[0066]
s3、将步骤s2处理得到的带有锚框的遥感图像特征图数据，输入至卷积神经网络进行训练和二分类器内进行选择，获取有效锚框，二分类结果中包含地物的锚框即为有效锚框；
[0067]
通过卷积神经网络对带有锚框的遥感图像特征图数据进行处理的过程为：首先，对带有锚框的遥感图像特征图数据进行卷积核大小为1的卷积操作；其次，对卷积操作得到的结果进行形状重塑，即按照行优先的顺序转换成1
×
n的张量，其中n与遥感图像特征图数据量大小相同，然后通过步骤s3中所述二分类器(由softmax函数实现)获取每一个锚框的二分类结果，该二分类结果包括为该锚框内包含地物(即有效锚框)和该锚框内不包含地物(即无效锚框)。
[0068]
s4、将步骤s2处理得到的带有锚框的遥感图像特征图数据，输入至卷积神经网络训练，然后经过线性回归变换后，获取锚框的偏移量；
[0069]
s5、利用步骤s3处理得到的有效锚框数据以及步骤s4处理得到的锚框偏移量信息，通过卷积神经网络训练以及全连接层的选择和回归，处理得到地物对象的类别以及目标检测框预测数据；
[0070]
请参考图3，其为本发明方法中训练目标检测的实例流程图，包括以下步骤：
[0071]
s51、将步骤s3中所得的二分类结果中的有效锚框以及步骤s4中所得的锚框偏移量信息作为数据输入，通过卷积神经网络以及全连接层训练得出相应参数，对参数进行有序组织得出目标检测框位置和精确尺寸；
[0072]
s52、利用步骤s51中处理得到的地物目标检测框的精确尺寸和位置信息，对步骤s1处理得到的遥感图像特征图使用双线性插值算法进行图像裁切与形状重塑，处理得到固定大小的独立地物特征图；
[0073]
s53、利用步骤s52中处理得到的独立地物特征图，经过卷积神经网络训练以及全连接层回归(即卷积神经网络回归模型)计算，处理得到更加精确的目标检测框偏移量；
[0074]
s54、利用步骤s52中处理得到的地物特征图，经过卷积神经网络训练、全连接层计算以及softmax分类，即经过卷积神经网络分类模型，处理得到目标检测框偏移量和每个目标检测框内地物所属类别(即分类预测结果)。对于建筑物提取任务，将地物所属类别划分为建筑物与非建筑物两种类别。
[0075]
步骤s3-s5通过卷积神经网络模型训练，全连接层以及利用softmax函数实现的二分类器进行数据处理，得到地物对象的类别以及目标检测框预测数据。其中，卷积神经网络模型训练时使用交叉熵损失函数对参数进行更新，该交叉熵损失函数公式为：
[0076][0077]
其中n
cls
为批量大小；n
reg
为目标检测框数量；pi为目标检测框的预测分类概率；为目标检测框的真实分类，目标检测框为正样本时目标检测框为负样本时ti为目标检测框预测偏移量参数化坐标；为目标检测框真实偏移量参数化坐标。其表示公式为：
[0078][0079][0080][0081][0082]
其中，x,y,w,h为目标检测框的中心点坐标，宽度以及高度；“·”表示目标检测框的预测值，“·
a”表示目标检测框的初始值，“·
*”表示目标检测框的真实值。
[0083]
其中为分类运算的损失函数，具体公式为：
[0084][0085]
为回归运算的损失函数，表示在目标检测框为正样本时才会进行损失计算。具体公式为：
[0086][0087][0088][0089]
s6、利用步骤s5处理得到的地物对象类别和目标检测框预测数据，使用线性插值算法对步骤s1处理得到的遥感图像特征图p进行裁切处理，充分利用特征图中虚拟点四周的四个真实存在的像素值共同计算目标图中的一个像素值，实现图像缩放，得到固定大小的新的特征图；
[0090]
s7、利用步骤s6处理得到的新的特征图，通过步骤s5所述的卷积神经网络训练以及全连接层的选择和回归，得到更为精确的地物对象的类别以及目标检测框预测数据；
[0091]
s8、利用步骤s6处理得到的新的特征图，通过边缘锐化模型训练，处理得到地物对象的边缘数据。
[0092]
请参考图4，其为本发明方法中训练边缘提取的实例流程图，包括以下步骤：
[0093]
s81、将步骤s6处理得到的特征图作为输入，利用全卷积网络，以像素到像素的方式对分割掩膜进行预测。
[0094]
s82、利用步骤s81处理得到的分割掩码预测结果，在图像平面中自适应选择预测分割标签的点。在推理过程中，使用双线性插值算法对步骤s81中得到的预测分割掩膜结果进行上采样；在上采样网格中选取一定数量最不确定的像素点。在训练过程中，使用随机抽样法从均匀分布的像素点中随机抽取一定数量的样本点用于过度生成候选点；从抽取的样本点中选取一定数量最不确定的像素点。
[0095]
s83、利用步骤s82选取的像素点，通过组合低层特征和高层特征，在选定的点上构建逐点特征。其中低层特征为步骤s6处理得到的特征向量；高层特征为步骤s81处理得到的分割掩码预测。其中低层特征为1
×
n的特征向量，该特征向量由步骤s6得到的新的特征图通过形状重塑转换得到，其中n为与遥感图像特征图数据量大小相同，高层特征为步骤s81处理得到的分割掩码预测；
[0096]
s84、将步骤s83处理得到的特征点输入到多层感知机，对各点进行分类预测，所有点共享权重，通过多层感知机训练得到边缘锐化后的分割掩膜预测结果，即地物对象的边缘数据。
[0097]
所述边缘锐化模型的损失函数公式为：
[0098][0099]
其中n
mask
为输出类别数；yi为分割掩膜预测结果；为分割掩膜真实结果。
[0100]
请参考图2，其为本发明的结构原理图，本发明提出的一种顾及角点特征的边缘建筑物提取系统，包括：
[0101]
特征提取模块l1，用于对获取的原始遥感图像数据进行特征提取以及特征图生成；
[0102]
锚框设置模块l2，用于对特征提取模块l1中生成的特征图进行锚框设置；
[0103]
有效锚框获取模块l3，用于对带有锚框的遥感图像特征图数据进行有效锚框选择；
[0104]
锚框偏移量获取模块l4，用于通过卷积神经网络和线性回归变换对带有锚框的遥感图像特征图数据进行处理，得到锚框的偏移量；
[0105]
目标检测模块l5，用于将得到的有效锚框数据以及锚框偏移量信息输入至卷积神经网络和全连接层进行处理，得到地物对象的类别以及目标检测框预测数据；
[0106]
特征处理模块l6，用于根据地物对象类别和目标检测框预测数据，采用使用线性插值算法得到独立地物固定大小的新的特征图；
[0107]
新的目标检测框获取模块l7，用于采用卷积神经网络以及全连接层对得到的新的特征图进行处理，得到新的地物对象的类别以及新的目标检测框预测数据；
[0108]
边缘锐化模块l8，用于将得到的独立地新的特征图输入至边缘锐化模型，得到地物对象的边缘数据。
[0109]
本发明的有益效果是：
[0110]
1、本发明将深度学习特征学习方法和计算机图形学方法进行结合用于边缘建筑物提取，能够对复杂地物场景下的遥感影像数据进行端对端的边缘轮廓细化建筑物提取；
[0111]
2、本发明引入边缘锐化模型，改进了深度学习特征学习方法中提取建筑物轮廓模
糊不清的情况，以计算机图形学中渲染的思想，使用细分策略高效的计算高分辨率分割图，提高了建筑物边缘的图像分割效果，使其在复杂地物场景下的建筑物边缘提取中有更好的表现。
[0112]
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。