图像数据处理方法、装置、设备和存储介质

1.本发明涉及数据处理技术领域，尤其涉及一种图像数据处理方法、装置、电子设备和非暂态计算机可读存储介质。


背景技术：

2.在深空探测任务中，探测车着陆区的地形制图是长距离行进路线设计和安全行驶所必需的基础数据，同时可以为行星表面目标的科学研究提供三维地形地貌信息。探测车立体影像广泛用于探测车行进范围内各站点周围几十米范围内的小区域的制图，其制图结果可以提供精细的地形地貌信息以便制定短期行驶探测计划和进行科学目标的研究。
3.在火星探测任务中，由于沙丘图像颜色相近、纹理重复并且边缘轮廓信息模糊，图像匹配较为困难，使得使用常用的特征提取和特征匹配方法难以满足精细制图的需求，难以实现火星车沙丘影像的高精度的三维重建。


技术实现要素：

4.本发明提供一种图像数据处理方法、装置、电子设备和非暂态计算机可读存储介质，用以沙丘图像匹配困难的问题，实现高精度的三维重建。
5.本发明提供一种图像数据处理方法，包括：获取第一影像和第二影像的图像特征，其中，所述图像特征包括纹理成分和结构特征，所述第一影像为行走器以第一视角拍摄的立体沙丘的影像，所述，所述第二影像为所述行走器以第二视角拍摄的立体沙丘的影像；对所述第一影像的纹理成分和所述第二影像的纹理成分分别进行特征提取后进行特征匹配，得到第一匹配点组；基于所述第一匹配点组进行密集匹配和前方交会，得到所述行走器第一视野中的立体沙丘在三维坐标下的三维点云；对所述三维点云进行插值处理，得到数字高程模型。
6.根据本发明提供的一种图像数据处理方法，所述获取第一影像和第二影像的图像特征之前，所述方法还包括：对所述第一影像和所述第二影像分别进行纹理增强，得到对应的纹理成分和结构特征。
7.根据本发明提供的一种图像数据处理方法，所述对所述第一影像的纹理成分和所述第二影像的纹理成分分别进行特征提取后进行特征匹配，包括：使用asift算法对所述第一影像的纹理成分和所述第二影像的纹理成分分别进行特征提取后进行特征匹配。
8.根据本发明提供的一种图像数据处理方法，所述对所述第一影像的纹理成分和所述第二影像的纹理成分分别进行特征提取后进行特征匹配，包括：对所述第一影像的纹理成分和所述第二影像的纹理成分分别进行特征提取后进行特征匹配，得到初始匹配点组；使用ransac算法对所述初始匹配点组中的错误匹配点进行粗差剔除，得到所述第一匹配点组。
9.根据本发明提供的一种图像数据处理方法，所述基于所述第一匹配点组进行密集匹配和前方交会，包括：在利用所述第一匹配点组构建三角网后，获取待匹配点的多窗口结
构张量构成的特征向量；根据所述特征向量获取不同的所述待匹配点的特征向量间的夹角；根据所述夹角对所述待匹配点进行密集匹配，得到密集匹配点；根据所述密集匹配点和影像的内外方位元素进行前方交会，得到所述三维坐标下的三维点云。
10.根据本发明提供的一种图像数据处理方法，所述对所述三维点云进行插值处理之前，所述方法还包括：对所述三维点云进行粗差剔除。
11.根据本发明提供的一种图像数据处理方法，所述对所述第一影像和所述第二影像分别进行纹理增强之前，所述方法还包括：读取所述行走器拍摄的立体沙丘影像，所述立体沙丘影像包括所述行走器以各个视角的拍摄的立体影像以及单张影像的内外方位元素；根据所述立体沙丘影像获取所述第一影像和所述第二影像。
12.本发明提供一种图像数据处理装置，包括：获取单元，用于获取第一影像和第二影像的图像特征，其中，所述图像特征包括纹理成分和结构特征，所述第一影像为行走器以第一视角拍摄的立体沙丘的影像，所述，所述第二影像为所述行走器以第二视角拍摄的立体沙丘的影像；特征匹配单元，用于对所述第一影像的纹理成分和所述第二影像的纹理成分分别进行特征提取后进行特征匹配，得到第一匹配点组；密集匹配单元，用于基于所述第一匹配点组进行密集匹配和前方交会，得到所述行走器第一视野中的立体沙丘在三维坐标下的三维点云；插值单元，用于对所述三维点云进行插值处理，得到数字高程模型。
13.根据本发明提供的一种图像数据处理装置，所述装置还包括纹理增强单元，用于对所述第一影像和所述第二影像分别进行纹理增强，得到对应的纹理成分和结构特征。
14.根据本发明提供的一种图像数据处理装置，所述特征匹配单元还用于使用asift算法对所述第一影像的纹理成分和所述第二影像的纹理成分分别进行特征提取后进行特征匹配。
15.根据本发明提供的一种图像数据处理装置，所述特征匹配单元还用于对所述第一影像的纹理成分和所述第二影像的纹理成分分别进行特征提取后进行特征匹配，得到初始匹配点组；使用ransac算法对所述初始匹配点组中的错误匹配点进行粗差剔除，得到所述第一匹配点组。
16.根据本发明提供的一种图像数据处理装置，所述密集匹配单元还用于在利用所述第一匹配点组构建三角网后，获取所述第一匹配点组中的待匹配点的多窗口结构张量构成的特征向量；根据所述特征向量获取不同的所述待匹配点的特征向量间的夹角；根据所述夹角对所述待匹配点进行密集匹配，得到密集匹配点；根据所述密集匹配点和影像的内外方位元素进行前方交会，得到所述三维坐标下的三维点云。
17.根据本发明提供的一种图像数据处理装置，所述装置还包括粗差剔除单元用于对所述三维点云进行粗差剔除。
18.根据本发明提供的一种图像数据处理装置，所述装置还包括选取单元，用于读取所述行走器拍摄的立体沙丘影像，所述立体沙丘影像包括所述行走器以各个视角的拍摄的立体影像以及单张影像的内外方位元素；根据所述立体沙丘影像获取所述第一影像和所述第二影像。
19.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述图像数据处理方法的步骤。
20.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述图像数据处理方法的步骤。
21.本发明提供的图像数据处理方法、装置、电子设备和非暂态计算机可读存储介质，通过对不同视角的沙丘影像的图像特征分别进行特征提取后进行特征匹配，并进一步在第一匹配点组的基础上进行密集匹配和前方交会得到匹配点的三维点云，进而得到数字高程模型，相比较现有技术，可以获得精度较高的数字高程模型。
22.本发明实施例的技术方案结合原始图像的纹理成分进行特征点提取，增加了特征点，并结合结构张量的特征矢量对沙丘图像进行密集匹配得到密集点结果，具有更好的适用性，且精度更高、可靠性更好。
附图说明
23.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
24.图1是本发明提供的图像数据处理方法的流程示意图之一；
25.图2是本发明提供的图像数据处理方法的流程示意图之二；
26.图3是本发明提供的图像数据处理装置的结构示意图；
27.图4是本发明提供的电子设备的结构示意图。
具体实施方式
28.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
29.在本发明一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明一个或多个实施例。在本发明一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本发明一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
30.应当理解，尽管在本发明一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
31.下面结合附图对本发明示例实施方式进行详细说明。
32.如图1所示的是本发明实施例的一种图像数据处理方法的流程图。本发明实施例提供的方法可以由任意具备计算机处理能力的电子设备执行，例如终端或服务器。如图1所示，该图像数据处理方法包括：
33.步骤102，获取第一影像和第二影像的图像特征，其中，图像特征包括纹理成分和结构特征，第一影像为行走器以第一视角拍摄的立体沙丘的影像，第二影像为行走器以第二视角拍摄的立体沙丘的影像。
34.具体地，行走器可以为搭载有摄像装置的火星车，立体沙丘可以为火星上的沙丘。
35.步骤104，对第一影像的纹理成分和第二影像的纹理成分分别进行特征提取后进行特征匹配，得到第一匹配点组。
36.步骤106，基于第一匹配点组进行密集匹配和前方交会，得到行走器第一视野中的立体沙丘在三维坐标下的三维点云。
37.具体地，前方交会是由第一视野和第二视野两张影像的内、外方位元素和同名像点p点的影像坐标值来确定该点的物方空间坐标。第一视野可以为行走器的第一方向范围的视野，第一视野内的影像为第一影像和第二影像的重合部分。
38.步骤108，对三维点云进行插值处理，得到数字高程模型。
39.在本发明实施例的技术方案充分利用不同区域的图像完成火星车制图，从而拓宽了火星车的地形制图能力，更贴合工程需求。该技术方法基于火星车沙丘影像和姿态信息，在提取纹理成分基础上进行特征匹配，然后结合特征点和其他待匹配点的特征向量完成密集匹配，最后根据匹配点坐标和姿态信息生成数字高程模型，从而在充分利用火星车获取的沙丘图像的基础上，实现沙丘图像的密集匹配，并最终获得高精度的制图结果。
40.在步骤102之前，需要读取行走器拍摄的立体沙丘影像，立体沙丘影像包括行走器以各个视角的拍摄的立体影像以及单张影像的内外方位元素，并根据立体沙丘影像获取第一影像和第二影像。
41.其中，第一视野可以为火星车的前方视野，第一影像和第二影像可以分别以火星车的某个左前方视角和某个右前方视角进行拍摄得到的影像。
42.在步骤102之前，对第一影像和第二影像分别使用变分方法进行纹理增强，得到对应的纹理成分和结构特征。
43.具体地，变分方法是求解泛函数的极值函数和极值函数对应的泛函极值的方法。
44.在步骤102中，可以适用对火星车立体沙丘影像使用自适应变分方法进行纹理增强，得到对应的纹理成分和结构成分，具体过程包括：
45.定义能量函数的数据项e
data
为以下公式(1)：
46.e
data
＝(i
p-s
p
)2ꢀꢀꢀꢀ
(1)
47.其中，原始影像为i，影像的结构成分为s，i
p
和s
p
即为p像素对应的原始影像和结构成分。
48.根据公式(2)中的两个公式分别计算各像素邻域窗口内的对应的横向总变分值d
x
(p)和纵向总变分值dy(p)：
[0049][0050]
其中，q为以p为窗口中心的邻域中的像素，g
p,q
是像素对应的权重系数，r(p)是表示以p为窗口中心的邻域。
[0051]
其计算公式为以下公式(3)：
[0052][0053]
σ是窗口的尺度参数。
[0054]
根据以下公式(4)中的两个公式分别计算图像中所有横向的总变分h
x
(p)，所有纵向的总变分值hy(p)：
[0055][0056]
根据以下公式(5)建立能量函数的空间项：
[0057][0058]
其中，ε是非常小的正数值。
[0059]
根据以下公式(6)建立能量函数的梯度约束项：
[0060][0061]
得到的最终能量函数e可以用以下公式(7)表示：
[0062][0063]
其中，β是空间项的权重系数，λ是梯度约束项的权重系数。使用梯度下降法迭代计算能量函数的最小值，当前后两次能量函数差满足迭代阈值时，计算结束，得到结构成分s。
[0064]
根据公式t＝i-s和原图像以及结构成分s即可以得到纹理成分t。
[0065]
在步骤104中，可以使用asift算法对第一影像的纹理成分和第二影像的纹理成分分别进行特征提取后进行特征匹配。
[0066]
特征匹配的方法是先找出特征显著的特征点(feature detect)，然后再分别描述两个特征点(feature descriptor)，最后比较两个描述的相似程度来判断是否为同一个特征(feature match)。而在特征描述之前如果能够做到确定特征的方向，则可以实现旋转不变性(rotation invariant)，如果能确定尺度，则可以实现尺度不变性(scale invariant)。
[0067]
具体地，asift算法可以模拟仿射矩阵的两个参数，即相机与图像法线的倾斜角和旋转角,从而精确的模拟出来所有由相机光轴方向改变所造成形变的图像，然后利用sift算法对这些模拟图像进行特征提取与匹配。其中，sift(scale invariant feature transform，尺度不变特征转换)算法是图像处理领域中的一种局部特征描述算法。asift算法是一种完全仿射不变图像特征匹配算法。
[0068]
在步骤104中，可以对第一影像的纹理成分和第二影像的纹理成分分别进行特征
提取后进行特征匹配，得到初始匹配点组，并使用ransac算法对初始匹配点组中的错误匹配点进行粗差剔除，得到第一匹配点组。
[0069]
在本发明实施例中，并不局限于使用ransac算法进行粗差剔除，也可以使用其它粗差剔除方法，例如差分法、分位数法等。其中，初始匹配点组是未经过粗差剔除的全部的匹配点的组合，第一匹配点组是经过粗差剔除的正确的匹配点的组合。
[0070]
具体地，采用ransac(random sample consensus,随机抽样一致)算法可以采用迭代的方式从一组包含离群的被观测数据中估算出数学模型的参数。
[0071]
在步骤106中，需要构建三角网，在利用第一匹配点组构建三角网后，获取第一匹配点组中的待匹配点的多窗口结构张量构成的特征向量，并根据特征向量获取不同的待匹配点的特征向量间的夹角，进而根据夹角进行密集匹配。其具体过程如下：
[0072]
首先，通过匹配的特征点在像方空间构建三角网，并进行内插获得p点的视差范围集合。使用平面方程内插得到p点的视差值为以下公式(8)：
[0073]dp
＝ax
p
by
p
c
ꢀꢀꢀꢀꢀꢀ
(8)
[0074]
其中，d
p
是内插得到的p点的视差值，(x
p
，y
p
)是p的像点坐标，a，b，c是根据线性方程组求解得到的常数，在公式中为像点坐标和对应视差值之间的几何关系的系数。a，b，c可以用以下公式(9)求解得出：
[0075][0076]
其中(xa,ya)、(xb,yb)、(xc,yc)分别是顶点a，b，c的坐标，(da，db，dc)是顶点a，b，c的视差。将特征匹配点视差作为高斯分布，根据统计计算两倍方差作为搜索半径r，得到视差范围集合为d＝{d|d
p-r≤d≤d
p
r}。
[0077]
根据以下公式(10)计算以待匹配点p(x
p
,y
p
)为中心的3*3窗口对应的结构张量t3：
[0078][0079]
其中，g
σ
为标准差为σ的高斯函数，g
x
为每个像素的水平梯度，gy为每个像素的垂直梯度。
[0080]
根据以下公式(11)计算以待匹配点p为中心的7*7窗口对应的结构张量t7：
[0081][0082]
根据以下公式(12)计算以待匹配点p为中心的11*11窗口对应的结构张量t
11
：
[0083][0084]
依次计算各结构张量对应的特征值
[0085]
根据特征值和特征向量和以下公式(13)计算3*3窗口的结构张量角度θ3：
[0086][0087]
根据以下公式(14)计算7*7窗口对应的张量角度θ7：
[0088][0089]
根据以下公式(15)计算11*11窗口对应的张量角度θ
11
：
[0090][0091]
根据以下公式(16)和公式(17)计算张量角度差值：
[0092]
＝θ
73
＝θ
7-θ3ꢀꢀꢀꢀ
(16)
[0093]
δθ
113
＝θ
11-θ3ꢀꢀꢀꢀꢀ
(17)
[0094]
根据以下公式(18)和公式(19)和角度差值计算转换的特征向量d1和d2：
[0095][0096][0097]
根据以下公式(20)和公式(21)和不同窗口得到的特征值计算特征向量对应的尺度系数s
73
和s
113
：
[0098][0099][0100]
根据公式(22)将尺度系数和角度差值得到的特征向量相乘，得到立体影像第一影像待匹配点p的多窗口结构张量构成的特征向量v
p
：
[0101][0102]
根据p点的视差范围d，得到p点在第二影像的候选同名点qi的坐标qi(x
p-di,y
p
)，使用步骤计算特征向量v1,v2…vi
。
[0103]
分别计算待匹配点p和各候选点qi的特征向量间的夹角余弦，其中夹角余弦最小值对应的候选点为p的同名点。
[0104]
在完成待匹配点p的匹配后，依次对第一影像中的其他待匹配点进行匹配，即可以完成密集匹配。
[0105]
在进行密集匹配后，需要对计算的密集匹配点结合影像的内外方位元素进行前方
交会，从而得到三维坐标下的三维点云。
[0106]
进行前方交会时，首先根据输入的密集匹配点像点坐标和内方位元素(x0，y0)计算图像匹配点的像空间坐标。再根据输入的内、外方位元素计算旋转矩阵r，其中，i为自然数，其公式为：
[0107][0108]ai
,bi,ci方向余弦.
[0109]
a1＝cosφcosκ-sinφsinωsinκ
[0110]
a2＝-cosφsinκ-sinφsinωcosκ
[0111]
a3＝-sinφcosω
[0112]
b1＝cosωsinκ
[0113]
b2＝cosωcosκ
[0114]
b3＝-sinω
[0115]
c1＝sinφcosκ
[0116]
c2＝-sinφsinκ cosφsinωcosκ
[0117]
c3＝cosφcosω
[0118]
根据共线方程可得：
[0119]
(x-x0)[a3(x-xs) b3(y-ys) c3(z-zs)]＝
[0120]-f[a1(x-xs) b1(y-ys) c1(z-zs)]
[0121]
(y-y0)[a3(x-xs) b3(y-ys) c3(z-zs)]＝
[0122]-f[a2(x-xs) b2(y-ys) c2(z-zs)]
[0123]
其中，(x,y)表示像平面坐标中像点的坐标；(x,y,z)表示目标在物方坐标系中的坐标值；r表示相机的旋转矩阵；f表示相机的焦距；(xs,ys,zs)表示相机像主点的三维坐标。
[0124]
简化得到：
[0125]
l1x l2y l3z-l
x
＝0
[0126]
l4x l5y l6z-ly＝0
[0127]
其中，
[0128]
l1＝fa1 (x-x0)a3,l2＝fb1 (x-x0)b3,l3＝fc1 (x-x0)c3[0129]
l
x
＝fa1xs fb1ys fc1zs (x-x0)a3xs (x-x0)b3ys (x-x0)c3zs[0130]
l4＝fa2 (y-y0)a3,l5＝fb2 (y-y0)b3,l6＝fc2 (y-y0)c3[0131]
ly＝fa2xs fb2ys fc2zs (y-y0)a3xs (y-y0)b3ys (y-y0)c3zs[0132]
利用最小二乘法即可以求得各密集匹配点三维坐标值(x，y，z)。
[0133]
其中，最小二乘法是一种数学优化技术，它通过最小化误差的平方和寻找数据的最佳函数匹配，利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。
[0134]
在步骤108之前，还可以对三维点云进行粗差剔除。其主要步骤为：
[0135]
对三维点云中任意点p，采用knn(k-nearestneighbor，最近邻)查找算法查找其k个最近邻点。分别计算p点与k个最近邻点的距离，求出距离的平均值m和标准差s。若m》qs，
即p与其邻近k个点的距离平均值大于其q倍标准差，则认为p点为粗差点。其中，q为预先设定的自然数，例如，q可以取值为3，即在m》3s时可以认为p点为粗差点。粗差点需要被剔除，非粗差点则被保留。对三维点云中的所有点依次进行计算后，即完成粗差剔除。对三维点云的粗差剔除可以理解为对三维点云的滤波。
[0136]
在步骤108中，可以对剔除误差的三维点云进行克里金内插，生成对应的数字高程模型。
[0137]
具体地，克里金法是依据协方差函数对随机过程或随机场及进行空间建模和预测的回归算法。其具有较优的线性无估计。
[0138]
如图2所示，本发明实施例的一种图像数据处理过程包括以下步骤：
[0139]
步骤241，对火星车左影像211进行纹理增强，得到结构成分212和纹理成分213。
[0140]
步骤242，对火星车右影像221进行纹理增强，得到结构成分222和纹理成分223。
[0141]
步骤243，asfit特征点匹配，实现对火星车左影像211和火星车右影像221的纹理成分的特征提取和特征匹配。
[0142]
步骤244，粗差剔除，对特征匹配得到的匹配点组中的错误匹配点进行剔除。
[0143]
步骤245，对正确匹配的匹配点进行密集匹配，得到密集匹配点。
[0144]
步骤246，对密集匹配点结合影像的内外方位元素进行前方交会，得到三维点云231。
[0145]
步骤247，点云滤波，实现对三维点云的粗差剔除。
[0146]
步骤248，对剔除误差的三维点云进行克里金内插，得到数字高程模型232。
[0147]
本发明实施例的技术方案结合原始图像的纹理成分进行特征点提取，增加了特征点，并结合结构张量的特征矢量对沙丘图像进行密集匹配得到密集点结果，具有更好的适用性，且精度更高、可靠性更好。
[0148]
本发明提供的图像数据处理方法，通过对不同视角的沙丘影像的图像特征分别进行特征提取后进行特征匹配，并进一步在第一匹配点组的基础上进行密集匹配和前方交会得到匹配点的三维点云，进而得到数字高程模型，相比较现有技术，可以获得精度较高的数字高程模型。
[0149]
下面对本发明提供的图像数据处理装置进行描述，下文描述的图像数据处理装置与上文描述的图像数据处理方法可相互对应参照。
[0150]
如图3所示，本发明实施例的一种图像数据处理装置，该装置包括：
[0151]
获取单元302，可以用于获取第一影像和第二影像的图像特征，其中，图像特征包括纹理成分和结构特征，第一影像为行走器以第一视角拍摄的立体沙丘的影像，第二影像为行走器以第二视角拍摄的立体沙丘的影像。
[0152]
特征匹配单元304，可以用于对第一影像的纹理成分和第二影像的纹理成分分别进行特征提取后进行特征匹配，得到第一匹配点组。
[0153]
密集匹配单元306，可以用于基于第一匹配点组进行密集匹配和前方交会，得到行走器第一视野中的立体沙丘在三维坐标下的三维点云。
[0154]
插值单元308，可以用于对三维点云进行插值处理，得到数字高程模型。
[0155]
在本发明实施例的技术方案充分利用不同区域的图像完成火星车制图，从而拓宽了火星车的地形制图能力，更贴合工程需求。该技术方法基于火星车沙丘影像和姿态信息，
在提取纹理成分基础上进行特征匹配，然后结合特征点和其他待匹配点的特征向量完成密集匹配，最后根据匹配点坐标和姿态信息生成数字高程模型，从而在充分利用火星车获取的沙丘图像的基础上，实现沙丘图像的密集匹配，并最终获得高精度的制图结果。
[0156]
在本发明实施例中，装置还可以包括选取单元，用于读取行走器拍摄的立体沙丘影像，立体沙丘影像包括行走器以各个视角的拍摄的立体影像以及单张影像的内外方位元素；根据立体沙丘影像获取第一影像和第二影像。
[0157]
在本发明实施例中，装置还可以包括纹理增强单元，用于对第一影像和第二影像分别进行纹理增强，得到对应的纹理成分和结构特征。
[0158]
在本发明实施例中，特征匹配单元还可以用于使用asift算法对第一影像的纹理成分和第二影像的纹理成分分别进行特征提取后进行特征匹配。
[0159]
特征匹配的方法是先找出特征显著的特征点(feature detect)，然后再分别描述两个特征点(feature descriptor)，最后比较两个描述的相似程度来判断是否为同一个特征(feature match)。而在特征描述之前如果能够做到确定特征的方向，则可以实现旋转不变性(rotation invarient)，如果能确定尺度，则可以实现尺度不变性(scale invarient)。
[0160]
具体地，asift算法可以模拟仿射矩阵的两个参数，即相机与图像法线的倾斜角和旋转角,从而精确的模拟出来所有由相机光轴方向改变所造成形变的图像，然后利用sift算法对这些模拟图像进行特征提取与匹配。其中，sift算法是图像处理领域中的一种局部特征描述算法。asift算法是一种完全仿射不变图像特征匹配算法。
[0161]
在本发明实施例中，特征匹配单元还可以用于对第一影像的纹理成分和第二影像的纹理成分分别进行特征提取后进行特征匹配，得到初始匹配点组；使用ransac算法对初始匹配点组中的错误匹配点进行粗差剔除，得到第一匹配点组。
[0162]
在本发明实施例中，并不局限于使用ransac算法进行粗差剔除，也可以使用其它粗差剔除方法，例如差分法、分位数法等。其中，初始匹配点组是未经过粗差剔除的全部的匹配点的组合，第一匹配点组是经过粗差剔除的正确的匹配点的组合。
[0163]
在本发明实施例中，密集匹配单元还可以用于在利用所述第一匹配点组构建三角网后，获取第一匹配点组中的待匹配点的多窗口结构张量构成的特征向量；根据特征向量获取不同的待匹配点的特征向量间的夹角；根据所述夹角对所述待匹配点进行密集匹配，得到密集匹配点；根据所述密集匹配点和影像的内外方位元素进行前方交会，得到三维坐标下的三维点云。
[0164]
具体地，计算待匹配点p和各候选点的特征向量间的夹角余弦，其中夹角余弦最小值对应的候选点为p的同名点。在完成待匹配点p的匹配后，依次对第一影像中的其他待匹配点进行匹配，即可以完成密集匹配。
[0165]
在进行密集匹配后，需要对计算的密集匹配点结合影像的内外方位元素进行前方交会，从而得到三维坐标下的三维点云。
[0166]
在本发明实施例中，装置还可以包括粗差剔除单元，用于对三维点云进行粗差剔除。
[0167]
由于本发明的示例实施例的图像数据处理装置的各个功能模块与上述图像数据处理方法的示例实施例的步骤对应，因此对于本发明装置实施例中未披露的细节，请参照
本发明上述的图像数据处理方法的实施例。
[0168]
本发明实施例的技术方案结合原始图像的纹理成分进行特征点提取，增加了特征点，并结合结构张量的特征矢量对沙丘图像进行密集匹配得到密集点结果，具有更好的适用性，且精度更高、可靠性更好。
[0169]
本发明提供的图像数据处理装置，通过对不同视角的沙丘影像的图像特征分别进行特征提取后进行特征匹配，并进一步在第一匹配点组的基础上进行密集匹配和前方交会得到匹配点的三维点云，进而得到数字高程模型，相比较现有技术，可以获得精度较高的数字高程模型。
[0170]
图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(communications interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行图像数据处理方法，该方法包括：获取第一影像和第二影像的图像特征，其中，所述图像特征包括纹理成分和结构特征，所述第一影像为行走器以第一视角拍摄的立体沙丘的影像，所述，所述第二影像为所述行走器以第二视角拍摄的立体沙丘的影像；对所述第一影像的纹理成分和所述第二影像的纹理成分分别进行特征提取后进行特征匹配，得到第一匹配点组；基于所述第一匹配点组进行密集匹配和前方交会，得到所述行走器第一视野中的立体沙丘在三维坐标下的三维点云；对所述三维点云进行插值处理，得到数字高程模型。
[0171]
此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0172]
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的图像数据处理方法，该方法包括：获取第一影像和第二影像的图像特征，其中，所述图像特征包括纹理成分和结构特征，所述第一影像为行走器以第一视角拍摄的立体沙丘的影像，所述，所述第二影像为所述行走器以第二视角拍摄的立体沙丘的影像；对所述第一影像的纹理成分和所述第二影像的纹理成分分别进行特征提取后进行特征匹配，得到第一匹配点组；基于所述第一匹配点组进行密集匹配和前方交会，得到所述行走器第一视野中的立体沙丘在三维坐标下的三维点云；对所述三维点云进行插值处理，得到数字高程模型。
[0173]
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的图像数据处理方法，该方法包括：获取第一影像和第二影像的图像特征，其中，所述图像特征包括纹理成分和结构特征，所述第一影像为行走器以第一视角拍摄的立体沙丘的影像，所述，所述第二影像为所述行
走器以第二视角拍摄的立体沙丘的影像；对所述第一影像的纹理成分和所述第二影像的纹理成分分别进行特征提取后进行特征匹配，得到第一匹配点组；基于所述第一匹配点组进行密集匹配和前方交会，得到所述行走器第一视野中的立体沙丘在三维坐标下的三维点云；对所述三维点云进行插值处理，得到数字高程模型。
[0174]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0175]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0176]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。