基于局部一致性的图像特征匹配方法及装置

1.本发明涉及图像处理技术领域，具体涉及图像匹配技术，提出了一种基于局部一致性的图像特征匹配方法及装置。


背景技术：

2.特征匹配作为计算机视觉中一项基础而重要的工作，对多种视觉任务都有着重要意义。特征匹配是指在同一场景的两幅图像中建立可靠的特征点对应关系，本质上是一个npc(non-deterministic polynomial complete problem,npc)复杂组合优化问题，计算量非常大，当前大部分方法都是在估计底层图像变换模型的基础上从一组初始匹配集中去除误匹配，但是，转换模型可能因不同的图像数据集而异，这严重限制了算法的普适性。而且由于匹配的图像对易受到外界噪声、离群点和非刚性变换等问题的影响，经常会导致传统特征匹配算法的性能大幅下降，从而严重制约了其在工程上的使用。因此，研究一种普适的更加鲁棒和高效的特征匹配算法在理论和实际应用上都具有非常重要意义与价值。
3.综合近几年的研究，图像匹配方法一般可以分为三大类：基于区域的方法，基于特征的方法和基于学习的方法。其中基于特征的方法被广泛深入研究，且具有很大的优势：(1)特征可以更好体现图像的本质结构，而且可以减小传感器和环境噪声的影响。(2)相对于传统的基于区域的方法，特征的方法精简了图像表达形式，这大大提高了算法的运行速度和降低了处理图像的计算成本。虽然传统的方法有尺度不变特征变换(sift)广泛应用于各个领域，但是仍然有许多问题需要解决。
4.首先，由于遥感图像会有地面起伏变化，成像视点变化或更复杂的非刚性变换，使用预定义的参数(如仿射、单基因和极几何)或非参数(如非刚性)模型不能很好地拟合。第二，传统的局部描述符只考虑特征点的一些弱特征；当遥感图像信息较为复杂，或图像受到非线性辐射差、散斑噪声、光线变化等影响时，局部描述符的精度将大大降低，导致大量的错误匹配。第三，由于匹配问题的组合性质，算法通常具有较高的计算复杂度。即使排除离群点的干扰，简单地匹配两幅遥感图像的特征点，也会得到一个复杂的排列。


技术实现要素：

5.为了解决现有图像匹配方法存在的鲁棒性低、速度慢、且复杂度高的问题，本发明采取的技术方案是，提供了一种基于局部一致性的图像特征匹配方法及装置。
6.根据本发明的一个方面，提供了一种基于局部一致性的图像特征匹配方法，包括以下步骤：
7.s1：获取待匹配的两幅图像；
8.s2：通过sift算法检测两幅图像中的特征点，并建立特征描述符；
9.s3：根据两幅图像中特征描述符的相似性构造一组初始匹配集；
10.s4：通过邻域一致性约束从所述初始匹配集中删除误匹配，得到第二匹配集；
11.s5：通过所述第二匹配集计算每个特征点的运动向量的偏差；
12.s6：通过对所述运动向量的偏差进行运动向量一致性约束，从而实现对预设的图像特征匹配模型的优化，并确定超参数；
13.s7：通过优化后的图像特征匹配模型对待匹配的两幅图像进行特征匹配，得到图像特征匹配结果。
14.优选地，所述s4包括：
15.s4.1：通过邻域一致性约束得到初始匹配集中每个初始匹配的属性变量
16.s4.2：设置阈值η，通过将η与比较，过滤不符合邻域一致性约束的特征点，得到第二匹配集u：
17.u＝{(xi,yi)∈s|rsti》η}
18.其中，s表示初始匹配集，i代表初始匹配的序号，(xi,yi)表示第i个初始匹配，rsti表示第i个初始匹配对应的所有邻域的的和，m表示每个初始匹配所取的邻域的数量，j表示邻域的序号，也就是第j个邻域，kj表示第j个邻域的大小。
19.优选地，所述s5包括：
20.s5.1：将所述第二匹配集进行向量转化后，通过空间网格化为多个不重叠的单元，通过高斯核卷积运算计算每一个单元的估计运动向量；
21.s5.2：计算每个单元内的初始运动向量与估计运动向量之间的偏差。
22.优选地，所述s5.1包括：
23.s5.1.1：将第二匹配集u转化为初始运动向量集s
′
：
[0024][0025]
其中，xi和yi分别代表两幅图像中第i个构成初始匹配的特征点，i表示特征点或初始匹配的序号，mi＝y
i-xi表示由第i个初始匹配(xi,yi)得到的运动向量， n代表初始匹配集中初始匹配的数量；
[0026]
s5.1.2：将初始运动向量集s
′
的每个维度等分成nc个非重叠的部分，然后得到了g＝nc×
nc个单元，这样初始运动向量集s
′
可分为g个单元，变成了集合变成了集合
[0027]
其中，nc表示初始运动向量集s
′
每个维度被分割的数量，g代表初始运动向量集s
′
整体被分割的数目，也就是说s
′
被分割为了g个单元，c
j,k
代表第j行，第k 列的单元，j和k分别代表单元c
j,k
所在的行序号和列序号；
[0028]
s5.1.3：通过高斯核卷积处理得到每个单元c
j,k
的估计运动向量
[0029]
优选地，所述s5.2包括：
[0030]
s5.2.1：计算所述初始运动向量与所述估计运动向量的数值偏差；
[0031]
s5.2.2：计算所述初始运动向量与所述估计运动向量的长度比偏差；
[0032]
s5.2.3：计算所述初始运动向量与所述估计运动向量的角度偏差；
[0033]
s5.2.4：根据所述数值偏差、所述长度比偏差和所述角度偏差计算运动向量总偏差。
[0034]
优选地，所述s5.2.4之后，还包括：
[0035]
对所述运动向量总偏差进行量子化处理，得到量子化结果；
[0036]
所述量子化结果用于反映每个单元内的初始运动向量与估计运动向量之间的一致性程度。
[0037]
根据本发明的另一方面，还提供了一种基于局部一致性的图像特征匹配装置，包括以下模块：
[0038]
图像获取模块，用于获取待匹配的两幅图像；
[0039]
特征点检测及描述符建立模块，用于通过sift算法检测两幅图像中的特征点，并建立特征描述符；
[0040]
初始匹配集构造模块，用于根据两幅图像中特征描述符的相似性构造一组初始匹配集；
[0041]
邻域一致性约束模块，用于通过邻域一致性约束从所述初始匹配集中删除误匹配，得到第二匹配集；
[0042]
运动向量偏差计算模块，用于通过所述第二匹配集计算每个特征点的运动向量的偏差；
[0043]
运动向量一致性约束模块，用于通过对所述运动向量的偏差进行运动向量一致性约束，从而实现对预设的图像特征匹配模型的优化，并确定超参数；
[0044]
特征匹配模块，用于通过优化后的图像特征匹配模型对待匹配的两幅图像进行特征匹配，得到图像特征匹配结果。
[0045]
本发明使用基于特征点邻域一致性的初级滤波策略来去除一部分有明显错误的离群点，净化邻域得到一个近似内点集，从而构造更加真实的邻域。将图像空间网格化为多个不重叠的单元，通过高斯核卷积运算为每个单元计算出一个估计运动向量来代表每个单元的潜在运动特征；最后，通过判断每个单元内的初始运动向量与估计运动向量之间的一致性程度，进一步消除狡猾的错误匹配，得到更加准确的匹配。
[0046]
本发明提供的技术方案具有以下有益效果：
[0047]
1、可以应对遥感图像会有地面起伏变化、成像视点变化或更复杂的非刚性变换。
[0048]
2、可以有效去除由于遥感图像信息复杂，或图像受非线性辐射差、散斑噪声、光线变化等影响时，产生的大量误匹配。
[0049]
3、本发明方法具有线性复杂度，可以在几毫秒内解决上千个匹配问题，保证了算法的速度。这对于许多实时应用程序是有用的，并且可以为特定的复杂问题，特别是遥感图像，快速地提供匹配算法的良好初始化。
附图说明
[0050]
下面将结合附图及实施例对本发明的具体效果作进一步说明，附图中：
[0051]
图1是本发明一种基于局部一致性的图像特征匹配方法的流程图；
[0052]
图2是本发明局部一致性算法的总体框架图；
[0053]
图3是本发明邻域一致性示意图；
[0054]
图4是本发明量子化处理前后的特征点的运动总偏差累积分布图，其中图4 (a)为量子化处理前，图4(b)为量子化处理后；
[0055]
图5是本发明超参数设置实验示意图；
[0056]
图6是本发明特征匹配的定性结果；
[0057]
图7是本发明特征匹配的定量实验结果。
具体实施方式
[0058]
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。
[0059]
参考图1，本实施例提供了一种基于局部一致性的图像特征匹配方法，主要包括以下步骤：
[0060]
s1：获取待匹配的两幅图像；
[0061]
s2：通过sift算法检测两幅图像中的特征点，并建立特征描述符；
[0062]
s3：根据两幅图像中特征描述符的相似性构造一组初始匹配集；
[0063]
s4：通过邻域一致性约束从所述初始匹配集中删除误匹配，得到第二匹配集；
[0064]
步骤s4具体包括：
[0065]
(1)邻域一致性模型
[0066]
对于描述同一场景或物体的图像对，当发生视点变化(如立体视差)或非刚性变换(如动态场景)时，两个相互对应的特征点之间的绝对距离可能会发生明显的变化；但是，代表图像场景局部邻域结构的特征点之间的空间邻域关系是十分稳定的，不会受到影响，一般能够得到很好的保留。以非刚性的人脸图像为例，由于骨骼和肌肉的物理约束，表情和视角的变化不会导致脸部的局部的结构变化，如眼睛、鼻子、嘴巴、下巴等的相对位置。
[0067]
对于初始匹配集sn中的一个初始匹配(xi,yi)，如果它是内点(能够进行正确匹配的特征点)，那么其邻域元素的分布应该是相似的。相反，对于一个离群点(错误匹配的特征点)，相应的邻域分布将会有很大的区别，这就是邻域一致性约束，如图3所示，图中分别显示了内点和离群点的初始匹配(xi,yi)，及其邻域内的5组初始匹配。容易看出，内点的邻域内包含许多共同的初始匹配，但离群点的邻域内几乎没有共同的初始匹配(正确的匹配由黑色的直线表示，误匹配由灰色的直线表示)。为了在数学的角度上捕捉这种属性，本发明定义一组大小为的邻域，即和其中的表示点xi的邻域，m代表邻域的个数，它是由x的全部特征点集中，距离xi最近的kj个特征点构成，kj代表第j 个邻域的大小。这种策略被称为多重k-最近邻策略(multi-k-nearest neighbor, multi-knn)。这时和之间的邻域一致性可以用下式来表征：
[0068][0069]
其中，为和两个邻域中公共特征点的个数，为第i 个初始匹配的第j个邻域中公共特征点的数目相对于所有特征点数目的比值。显然，如果对应的特征点为内点，的值会很大，反之亦然。请注意，真正的公共元素是不能在没有groundtruth的情况下确定的。然而，可以应用sn中包含的和之间初始匹配的数量及其公共元素的数量作为替换，得到一个近似。使用这个近似的原因是，如果初始匹配(xi,yi)是内点，那么同时出现在局部邻域和中特征点的初始匹配绝大部分也很有可能是
内点；相反，如果(xi,yi)是一个离群点，那么在其邻域和中很可能不会同时出现初始匹配，也就是说xi邻域中的某个点的匹配点大概率会在yi的邻域之外。
[0070]
(2)邻域一致性约束初步滤波
[0071]
当图像受到复杂的非刚性变换或受外部噪声影响时，初始匹配集中会包含大量的离群点。为了在一定程度上去除有明显错误的离群点以净化局部领域，便于接下来的处理中能够得到更加接近潜在真实运动向量的估计运动向量，通过邻域一致性约束得到的属性变量来进行初步滤波。
[0072]
为了达到目的，可以设置一个简单的阈值η，通过将η与比较，来过滤出不符合邻域一致性约束的特征点，得到一个初步过滤后的第二匹配集u：
[0073]
u＝{(xi,yi)∈s|rsti》η},
ꢀꢀ
(2)
[0074]
其中u为初步滤波后的第二匹配集，η为比较时用的阈值，rsti表示第i个初始匹配对应的所有邻域的的和，m代表邻域的数量。通过初步过滤后的第二匹配集u通常足够干净，可以用于运动向量场的构建。根据大量的实验结果，在多重k-最近邻策略中设置邻域的数量＝3，每个邻域的大小分别为k1＝9，k2＝ 10和k3＝11。如果有必要，可以通过设置不同的阈值η对初始匹配集进行迭代过滤，但本发明方法只进行一次过滤就足够了。
[0075]
s5：通过所述第二匹配集计算每个特征点的运动向量的偏差；
[0076]
步骤s5具体包括：
[0077]
(1)运动向量的数值偏差
[0078]
为了有效地去除图像中的噪声干扰，根据图像去噪的理论，对于一个充满噪声的图像时，本发明充分地考虑局部区域(由卷积核的大小决定)中的像素点，并且采取运动向量的方法来获取真实的像素信息去除噪声。首先将第二匹配集u 转化为初始运动向量集其中的mi＝y
i-xi表示第i个初始匹配 (xi,yi)的初始运动向量，对于该匹配集中图像中的潜在的真匹配，其运动向量应该是趋于规则和光滑的，即满足运动向量一致性，也就是说正确匹配在局部邻域会具有相似的运动行为，而错误匹配通常是随机分布的。如图2所示，可以看出每次匹配有三个步骤，分别是建立初始匹配集、利用邻域一致性净化邻域、利用运动向量一致性进一步滤除离群点。其中每一个步骤有两幅图，左图代表网格化的初始运动向量场、右图代表每个单元的估计运动向量场(由高斯核卷积生成)。可以看出随着去噪的深入，向量场中的离群点越来越少，估计向量场也越来越规则圆滑，去除了一些突兀的向量。
[0079]
为了获取估计运动向量，首先将初始运动向量集s
′
的每个维度等分成nc个非重叠的部分，然后初始运动向量集s
′
就被分割为了g＝nc×
nc个单元(g为单元的数量)变成了集合其中c
j,k
代表第j行，第k列的单元，j和k分别代表单元c
j,k
所在的行序号和列序号。网格化后的初始运动向量集如图2所示，图2中的nc＝20。现在，将定义为平均运动向量矩阵，其中为第(j,k)个单元c
j,k
内的平均运动向量：
[0080][0081]
其中|
·
|代表求模运算，|c
j,k
|就是单元c
j,k
的大小(即单元c
j,k
中运动向量的数目)。
[0082]
为了充分利用相邻单元之间的相互作用，本发明利用一种高效的卷积理论，因为它可以综合考虑局部的nk×
nk个单元之间的联系。这里将运动向量的卷积定义为：
[0083][0084]
其中为高斯核卷积后生成的大小为nc×
nc×
2矩阵，为第(j,k)个单元格的估计运动向量，w为计数矩阵，表示每个单元中运动向量的数目，w
j,k
＝|c
j,k
| 代表第j行，第k列的单元c
j,k
的大小。公式(4)中的分母项用于权值补偿，以保持卷积结果的尺度不会有太大的变化，当中存在0时，ε就是一个无穷小的正数。k为大小为nk×
nk的高斯核距离矩阵，又被称为高斯卷积核，它表示某个单元与周围的(nk×nk-1)个单元的高斯核距离，通过这个参数可以建立起某个单元与周围邻近的单元之间的连接关系。k的每个元素k
i,j
定义为：
[0085][0086]
其中，k
i,j
代表第i行，第j列的单元的高斯核距离，s
i,j
＝(i,j)
t
,,分别是高斯卷积核k中的每个单元的位置(即第i行，第j列)和高斯卷积核的中心位置，并且[
·
]将元素舍入到不小于自身的且最接近的整数。因为需要确定卷积核内部的中心位置，所以nk一定是一个正奇数。
[0087]
另外，为了避免孤立样本的影响，可以在卷积过程中会将孤立样本排除在外，方法就是在分子和分母中减去对应的平均向量，然后调整每个单元的权重。在(4) 式中，b(w)表示w的二进制形式，其值为0或1，只有当w
i,j
》0时，b(w
i,j
)＝1； k
*
表示中心位置的的高斯核距离，而且
[0088]
经过上面的卷积运算，可以得到每个单元的估计运动向量，它可以用来代替潜在的真实运动向量。然后得到每个元素对应的初始运动向量mi与估计运动向量的偏差di，其值受下式约束在[0,1]之间：
[0089][0090]
其中devi就是运动向量数值偏差，其中β决定两个运动向量之间交互范围的宽度。β2可根据经验设置为0.08。
[0091]
(2)运动向量的长度比偏差
[0092]
为了使误匹配和正确匹配之间的差距更加的明显，本发明除了考虑每个运动向量与估计运动向量之间的数值偏差外，还进一步地从运动向量的长度和角度下手，从而更加的方便用阈值进行区分。将这三种偏差归一化并求和得到总偏差。各偏差的缺点相互弥补，
精度和召回率将大大提高。
[0093]
构造长度比偏差和角度偏差，错误匹配运动矢量存在较大的角度和长度比偏差，而正确的匹配运动向量与真实运动向量基本保持一致。
[0094]
定义运动向量的长度比偏差
[0095][0096]
其中表示mi与之间的长度之比，简单来说就是第(j,k)个单元中最长的运动向量与最短的运动向量之间的长度比。以上归一化处理的方式为高斯型隶属度函数。使用作为运动向量的长度比偏差。
[0097]
(3)运动向量的角度偏差
[0098]
定义运动向量的角度偏差：
[0099][0100]
其中而且表示mi和之间的角度。同样本发明使用作为运动向量的角度偏差。
[0101]
(4)运动向量总偏差和量子化策略
[0102]
将和与前面的数值偏差devi进行结合，定义运动向量与估计运动向量之间的总偏差为：
[0103][0104]
此时通过比较偏差和给定的阈值λ，可以近似检测内集i
*
[0105]i*
＝{(xi,yi):di≤λ,i∈nn}.
ꢀꢀ
(10)
[0106]
从图4(a)可以看出，在总偏差上，内点和离群点(其中*点表示离群点， o点表示内点，纵坐标表示运动偏差，横坐标表示每个特征点的索引值)并没有明显的可区分性。这是因为每个特征点的偏差的变化范围不是统一的。为了解决这一难题，采用了量子化处理的策略。
[0107]
对总偏差进行量子化处理
[0108][0109]
其中，d
i,j
表示xi邻域中的第j个运动向量mj与其对应的估计运动向量之间的运
动向量总偏差。s
i,j
综合了运动向量mi本身和其邻域的运动特征。
[0110]
最后，将特征点xi自身包括其邻域中的所有s
i,j
相加，得到量化偏差。该值越小，表示匹配越符合运动向量一致性。此时每个特征点的量子化后的运动向量偏差的累积分布如图4(b)所示，可以看出内点和离群点之间的差距变得很明显了。
[0111][0112]
s6：通过对所述的运动向量的偏差进行运动向量一致性约束，从而实现对预设的图像特征匹配模型的优化，并确定超参数；
[0113]
s6具体包括：
[0114]
(1)匹配模型建立与优化
[0115]
假设从两幅图像中提取出的初始匹配集为其中包含了n个初始匹配，xi和yi是特征点空间位置的二维列向量。初始匹配集s中包含了许多的错误匹配。
[0116]
为了更好地保留局部的特征，本发明采用了一种通用的数学模型作为图像特征匹配模型。本发明将i定义为未知的内点集，它的最优解为i
*
：
[0117]i*
＝argminic(i；u,s,λ)
ꢀꢀ
(13)
[0118]
其中代价c定义为：
[0119]
c(i；s,λ)＝∑
i∈i
∑
j∈i
(si λ(n-|i|))
ꢀꢀ
(14)
[0120]
其中si为量子化后的总偏差，|
·
|为集合的基数。在这个代价函数中，第一项惩罚任何不保持局部一致性的匹配，第二项限制离群点的数量，参数λ》0用于控制这两个项之间的权重。本发明的目标是通过最小化代价函数c获得最大的内点集。
[0121]
为了对代价函数进行优化，将初始匹配集s与n
×
1维的二进制向量p相关联，其中pi∈{0,1}表示第i次对应(
x
i,yi)的匹配正确性。具体来说，pi＝1表示内点， pi＝0表示离群点。
[0122]
通过合并与pi有关的项来重组公式中的公共项，就可以得到下式：
[0123][0124]
其中
[0125]ci
＝siꢀꢀ
(16)
[0126]ci
可以度量第i个匹配(xi,yi)的满足局部一致性的程度。显然，正确的匹配会带来零或者较低的成本，而错误匹配将带来较高的成本。
[0127]
对于给定的初始匹配集，特征点的坐标是已知的，即特征点之间的邻域结构和运动向量是固定的，因此可以预先计算出所有的总代价值也就是说，式(14)中唯一的未知变量是pi。使代价函数最小的p的最优解由以下简单准则确定:
[0128][0129]
因此，最优内集i
*
就可以通过下式被确定：
[0130]i*
＝{i|pi＝1,i＝1,
···
,n}.
ꢀꢀ
(18)
[0131]
由式(17)可以看出，参数λ除了具有调节权衡的作用外，还具有阈值作用。对于不同类型的图像对，会有不同的分布参数，运动向量场和代价，所以也会改变。
[0132]
(2)超参数的确定
[0133]
到目前为止，本发明已经将特征匹配问题转化为一种优化的数学模型。然而，有几个超参数，即{nc,nk,λ,η}，它们的值的设定会严重影响算法的结果。因此为了得到最佳的结果和最优的参数设置，本发明分别从刚性变形、旋转变形、尺度变形和非刚性变形中选取12幅图像进行实验。
[0134]
本发明改变nc和nk的值，做了多组实验，并记录下精度、召回率和f-score。精度、召回率和f-score是评价算法匹配性能的常用指标。
[0135]
如图5所示，图5(a)展示了当nc＝20、nk变化时，本发明方法获得的精度、召回率和f-score曲线；图5(d)展示了当nk＝7、nc变化时，本发明方法获得的精度、召回率和f-score曲线。可以清楚地看到从结果nc和nk在一定范围 (nc∈(10,40),nk∈[5,9])几乎不发生变化且不敏感，但超过这个范围，精度、召回率和f-score会显著下降。因此，只要在这个范围内，设计自适应算法选取nc和nk的最优值，就可以得到最佳的结果。
[0136]
为了确定高斯核卷积滤波过程中最优的超参数nc，nk，本发明同样使用与上面的实验相同的包含48对图像的数据进行实验。
[0137]
首先，本发明准备12组不同(nc,nk)组合的内点和离群点运动向量数值偏差的统计数据,其中nc值以10为间隔从10到40取值(分别由四种不同的灰度表示), 和nk值以2为间隔从5到9的取值(分别由三种类型的线，即完整的曲线、点线和虚线)。在图5(b)中，下降趋势线表示内点的统计量，上升趋势表示离群点的统计量。每组(nc,nk)所对应的最优参数λ就是内点与对应的离群值概率曲线的交点。交点越靠近左下角，内层与离群值的可分性越好。因此，根据实验结果，本发明可以利用初始匹配集的nc和集合的大小n之间的关系来自适应的设置超参数nc和nk。
[0138][0139]
其中n是初始匹配集中初始匹配的数目。[
·
]可以对元素进行舍入。odd(nc/3) 表示最接近的且不大于nc/3的奇数。
[0140]
本发明从上面实验中使用的48张测试图像中按照平移、缩放、旋转、非刚性变换分别选取10张，然后另外选取10张遥感图像，包含了所有的变换。使用这5组共50张图像对分别进行相同的实验，结果如图5(e)所示。从结果可以看出，不同类型的图像变形会导致这些交点的差异很大，这意味着应该选择不同的最优λ和η。注意，当ci＝λ时，pi的设置可以是任意的。
[0141]
为了确定最佳的λ和η，本发明使用相同的数据集(包括50对图像)进行实验。首先固定η的值，使用不同的λ值，计算精度，召回率和f-score。然后固定λ的值，使用不同的η的值，并计算精度，召回率和f-score。最终结果如图5(c)和(f)所示，当λ＝0.45，η＝0.3时，本发明可以得到最高的精度，召回率和f-score。
[0142]
s7：通过优化后的图像特征匹配模型对待匹配的两幅图像进行特征匹配，得到图像特征匹配结果。
[0143]
图6是本发明方法对10对典型图像对的定性结果。
[0144]
为了评价本发明方法的性能，实验中使用了5个通用的图像匹配数据集，每个数据集包含30对图像和ground truth。这5个数据集包含的内容广泛，主要包括遥感数据集和非
遥感数据集。遥感数据集分为720yun、suird、ciap和 sar数据集。非遥感数据集包括自然图像、医学图像和红外图像等。为了保证客观性，本发明使用开源的vlfeat工具箱对所有数据集提取sift特征，然后根据特征描述符的相似度，采用最近邻策略构造初始匹配集。所有数据集的 ground truth都是通过手工标记每个匹配为真或假来提供的，或者使用原始作者提供的几何变换矩阵来检查。
[0145]
图6从上到下，每一行包含分别从720yun、suird、ciap、sar和非遥感这5个数据集中选择的两个示例。这些图像对具有离群点比例高、重叠面积小、包含尺度变换、旋转变换、平移变换、甚至非刚性变换等特征，给错误匹配的去除工作带来了很大的困难和挑战。从上到下、从左到右本发明方法的精度、召回率和f-score分别为：(98.61％,100.0％,0.9930)、(98.11％,98.96％,0.9854)、 (100.0％,99.04％,0.9952)、(100.0％,98.95％,0.9947)、(99.57％,100.0％,0.9978)、 (99.56％,99.56％,99.56％)、(100.0％,100.0％,1)、(99.49％,99.80％,99.64％)、 (98.95％,99.15％,0.9905)、(97.84％,98.81％,0.9833)。通过实验结果可以很容易地发现，本发明方法可以识别出大部分的内点，只有很少的错误判断。这表明该方法在处理不同类型图像畸变和大量离群点的遥感图像时具有通用性和鲁棒性。而且该方法在普通场景的非遥感数据集上也取得了良好的实验结果。
[0146]
图6中每一行有两种类型的图像，左图为特征对应连线图，右图为特征运动向量场图。运动向量场上每个箭头的头部和尾部对应两幅图像中匹配特征点的空间位置(图中既包含了识别出的正确匹配，也包含了识别错误的匹配，但识别错误的匹配很少，几乎为0)。为了图像对中匹配的可见性，在每对图像中随机选取 100个匹配以一条直线进行展示。
[0147]
图7展示了将5个数据集的实验效果分别用曲线显示，定量的评价指标分别为精度、召回率、f-sore和运行时间。精度(p)定义为算法保留的所有匹配中正确匹配的比例，召回率(r)定义为算法识别的正确匹配占所有正确匹配的比率， f-score来评价匹配的综合性能。根据真阳性(tp)、真阴性(tn)、假阳性(fp)、假阴性(fn)的个数，精度可按以下公式计算:
[0148][0149]
召回率按以下公式计算：
[0150][0151]
其中真阳性(tp)表示算法判定为正确匹配的正确匹配；真阴性(tn)表示一个由算法判断为错误匹配的错误匹配；假阳性(fp)表示一个错误的匹配，被算法错误地判断为正确的匹配；假阴性(fn)表示一个正确的匹配被算法错误地判断为假匹配。
[0152]
真阳性(tp)和真阴性(tn)反映算法的准确性，假阳性(fp)和假阴性(fn)反映算法的误差程度。f-score作为准确率和查全率的综合统计，其求解公式如下：
[0153][0154]
为了使结果更有说服力，本发明将定量地评估和比较本发明方法的特征匹配性能，并与lpm(locality preserving matching，lpm)、llt(locally lineartransform，llt)、laf(linear adaptive filtering，laf)、lmr(learning atwo-class classifier for mismatch removal，lmr)、vfc(vector field consensus， vfc)、rfm-scan和ees
(efficient exact search)算法进行比较。比较算法的代码来自原始作者的公布，而且对比算法的所有参数均根据原文进行设置，并在整个实验过程中保持不变。
[0155]
图7的结果表明，本发明方法在所有遥感数据集，尤其是在ciap数据集上都取得了良好的效果。vfc算法对数据集中某些图像对的性能较差。这是由于这些图像的内点率或内点数较低，如ciap数据集，干扰了向量场的构建。在具有严重噪声和仿射畸变的sar数据集中，lmr算法产生了许多误判并且召回率低。本发明方法和laf算法不仅能召回更多的正确匹配，而且比其他算法有更高的准确率。对于具有非刚性变换和低内点率的720yun数据，错误匹配去除任务非常困难。llt算法在该数据集上的性能并不理想，因为算法考虑了特征点之间的线性变换，适应性差。对于视点变化较大的suird数据集，存在严重的离群点，使得运动向量偏差增大。这样既会影响laf的典型运动场，也会影响 rfm-scan的运动一致性聚类，从而降低精度。因此，与其他数据集相比，laf 和rfm-scan算法的性能明显下降。ees算法是基于内点模型的。当图像包含非刚性变形、低内点比和外部噪声干扰时，将显著降低几何模型拟合的性能，如 720yun、ciap和sar数据集的图像。lpm和基于深度学习的lmr算法在每个数据集上都有很好的性能，但都略低于本发明方法。此外，本发明方法在非遥感数据集上也具有良好的性能，表明本发明方法具有一定的通用性和可扩展性，可以扩展到区去处理多种类型的图像。
[0156]
f-score可以反映算法的综合性能。从所有的遥感数据集可以看出，由于特征点的固定和运动特征的结合，本发明的方法能够对不同问题的遥感图像保持鲁棒性，并获得最佳的精度和召回率。然而，在某些情况下，对比算法的指标可能会降低甚至失败。此外，本发明方法具有线性复杂度。从图7最后一行可以看出，本研究算法在保证综合性能的同时，运行速度与laf算法相当。它比lpm算法略慢，但比其他方法快得多，特别是在处理数万个匹配时。
[0157]
图7中从左到右分别在720yun、suird、ciap、sar和non-remote sensing 5组数据集上对lpm、llt、laf、lmr、vfc、rfm-scan、ees和本发明的方法进行了定量比较。从上到下分别是内点率、精度、召回率、f-score和运行时间的累积分布。每个曲线上点的坐标(x,y)表示每个数据集中第30*x个图像对的y值(即精度、召回率、f-score或运行时间的值，以ms为单位)。将每条曲线所代表的算法、平均精度(ap)、平均查全率(ar)、平均f-score(af)和平均运行时间(runtime)标记在图中相应位置。
[0158]
在一些实施例中，还提供了一种基于局部一致性的图像特征匹配装置，包括以下模块：
[0159]
图像获取模块，用于获取待匹配的两幅图像；
[0160]
特征点检测及描述符建立模块，用于通过sift算法检测两幅图像中的特征点，并建立特征描述符；
[0161]
初始匹配集构造模块，用于根据两幅图像中特征描述符的相似性构造一组初始匹配集；
[0162]
邻域一致性约束模块，用于通过邻域一致性约束从所述初始匹配集中删除误匹配，得到第二匹配集；
[0163]
运动向量偏差计算模块，用于通过所述第二匹配集计算每个特征点的运动向量的偏差；
[0164]
运动向量一致性约束模块，用于通过对所述运动向量的偏差进行运动向量一致性约束，从而实现对预设的图像特征匹配模型的优化，并确定超参数；
[0165]
特征匹配模块，用于通过优化后的图像特征匹配模型对待匹配的两幅图像进行特征匹配，得到图像特征匹配结果。
[0166]
本发明使用基于特征点邻域一致性的初级滤波策略来去除一部分有明显错误的离群点，净化邻域得到一个近似内点集，从而构造更加真实的邻域。将图像空间网格化为多个不重叠的单元，通过高斯核卷积运算为每个单元计算出一个估计运动向量来代表每个单元的潜在运动特征；最后，通过判断每个单元内的初始运动向量与估计运动向量之间的一致性程度，进一步消除狡猾的错误匹配，得到更加准确的匹配。
[0167]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
[0168]
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。词语第一、第二、以及第三等的使用不表示任何顺序，可将这些词语解释为标识。
[0169]
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。