一种面向水域的无人机遥感多光谱图像拼接方法及系统

技术特征：
1.一种面向水域的无人机遥感多光谱图像拼接方法，其特征在于，包括以下步骤：第一步，接收图像数据，并合成多波段图像；同时获取多波段图像对应的经纬度pos信息，并剔除经纬高数据异常值；第二步，根据第一步中对应的经纬度pos信息进行图像的几何校正预处理，得到校正图像；第三步，基于图像对应的经纬和偏航角信息，计算地理坐标投影信息，并对第二步中的校正图像添加地理坐标投影信息；第四步，按照拼接策略选取无人机图像序列，根据第三步中的地理坐标投影信息，进行图像的粗配准，得到平移变换矩阵和两幅配准图像；第五步，根据第四步中的配准图像，利用计算机图形学知识，计算出重叠区域位置，并抠取重叠区域图像，得到待拼接图像；第六步，利用主成分分析法pca对第五步中的待拼接图像提取第一主成分图像，并对第一主成分图像构建尺度不变特征模型sift，以获取第一主成分图像的特征点；第七步，判断第六步中的特征点数量，若数量少于n个，将第四步中的平移变换矩阵作为后期的单应性变化矩阵；否则采用查询索引kd树方式，建立一对多假设匹配集，并以空间距离作为第六步中特征点的相似性评估指标，筛选出符合要求的匹配点；并使用距离直方图约束全局相似属性来剔除误匹配点对，计算单应性变换矩阵；第八步，对第四步中的两幅配准图像构建基于拉普拉斯laplacian金字塔的多分辨率融合模型，并结合第七步中的单应性变换矩阵，对第四步中的两幅配准图像进行融合，实现无人机遥感多光谱图像的拼接；之后返回第四步，直到完成所有序列图像的拼接后退出。2.如权利要求1所述的一种面向水域的无人机遥感多光谱图像拼接方法，其特征在于，所述第一步中，多波段图像的合成方法如下：接收无人机遥感的多光谱图像，并将同时刻拍摄的同一位置的单波段图像进行合成，得到多波段图像；并根据获取单波段图像对应的经纬度pos信息剔除起飞和返航时的经纬高数据异常值；所述经纬度pos信息包括经度lon、纬度lat、航高h、航向角γ、俯仰角α、滚转角β、地面分辨率∈以及测量系统的地理坐标系和投影坐标系；地面分辨率∈的计算公式如下：∈＝pixelsize*h/f
ꢀꢀꢀ
(1)。3.如权利要求1所述的一种面向水域的无人机遥感多光谱图像拼接方法，其特征在于，所述第二步中，几何校正的方法包括以下内容：步骤21，建立图像坐标系o-xy，相机坐标系s-x
s
y
s
z
s
，机体坐标系p-x
p
y
p
z
p
，地理坐标系e-x
e
y
e
z
e
；步骤22，对步骤21中的图像坐标系选择以像主点为原点，沿飞行方向为y轴的正方向，垂直于飞行方向为x轴的正方向时，根据相机与机体的相对位置关系及无人机的飞行姿态，
进行图像坐标系下像点g(x，y)与地理坐标系下对应物点g(x
e
，y
e
，z
e
)的变化关系转换；变化关系转换的计算公式如下：[x
e
，y
e
，z
e
]
et
＝λr
ep
r
ps
r
so
[x，y]
ot
＝λr
ep
r
ps
[x，y，-f]
ot
ꢀꢀꢀ
(2)其中，f为焦距，用于表示图像坐标系与相机坐标系在z轴方向的平移量；步骤23，由于相机的镜头光心与无人机的质心重合，且相机坐标轴系经过平移后与机体坐标系完全重合，即r
ps
为单位矩阵i；根据步骤22中的平移量，构建相机成像模型，其计算公式如下：[x
e
，y
e
，z
e
]
et
＝λr
ep
[x，y，-f]
ot
ꢀꢀꢀ
(3)其中，r
ep
＝r(h)r(γ)r(β)r(α)，λ为比例系数，即λ＝h/f；在正直摄影条件下，遥感图像中像点g(x，y)与校正后的像点g
′
(x
′
，y
′
)的满足关系式如下：(x
′
，y
′
，-f)
ot
＝r
ep
(x，y，-f)
ot
ꢀꢀꢀ
(4)其中，r(α)、r(β)、r(γ)、r(h)分别为基于俯仰角的校正旋转矩阵、基于滚动角的校正旋转矩阵、基于偏航角角的校正旋转矩阵、基于航高的校正矩阵；步骤24，对步骤23中的r(α)、r(β)、r(γ)、r(h)分别建立俯仰角校正矩阵、滚动角校正矩阵、偏航角校正矩阵、高度校正矩阵，得到校正数学模型；俯仰角校正矩阵：俯仰角校正矩阵：滚动角校正矩阵：滚动角校正矩阵：偏航角校正矩阵：
高度校正矩阵：其中，θ表示任一像素点和焦点的连线与中心视轴之间的夹角；步骤25，根据步骤24中的校正数学模型，计算图像四角坐标校正后的新坐标，通过旧坐标与新坐标求出变换矩阵，并采用双线性插值重采样方法计算出新的校正图像，完成图像的几何校正，并更新图像的地理坐标信息。4.如权利要求1所述的一种面向水域的无人机遥感多光谱图像拼接方法，其特征在于，所述第三步中，地理坐标投影信息的计算方法如下：利用仿射矩阵参数对遥感图像坐标与地理坐标进行转换，其包括6个参数，分别为x
e
，x
pixel
，r
γ
，y
e
，y
pixel
，r
γ
，描述的是图像行列号和地理坐标之间的关系，其中，x
e
、y
e
表示图像左上角像元的地理投影坐标，x
pixel
、y
pixel
分别表示图像像元在经度、维度方向的地面分辨率，r
γ
表示图像旋转角度的正弦值；将图像绕中心o点顺时针旋转γ度，然后根据无人机记录的经纬度经过坐标投影计算得到o点坐标(x
oe
，y
oe
)，则图像左上角像点g坐标的计算公式如下：其中w和h分别表示图像尺寸的宽和高；地面分辨率x
pixel
＝-y
pixel
＝-∈，此时r
γ
＝0；图像坐标系下任一点g(row，col)的地理坐标g(x
e
′
，y
e
′
)的计算公式如下：5.如权利要求1所述的一种面向水域的无人机遥感多光谱图像拼接方法，其特征在于，所述第四步中，粗配准的过程如下：在拼接的前几轮使用帧到帧拼接策略，后续选择拼接图到拼接图的拼接策略以完成图像的拼接；获取同一航线上相邻的图像i1和图像i2，图像左上角的地理坐标分别为g1(x
e1
，y
e1
)和g2(x
e2
，y
e2
)，以图像i1为基准，求得图像i2相对于图像i1的偏移量；所述偏移量的计算公式如下：根据偏移量，将几何校正后的图像i1和图像i2分别绕o1和o2旋转γ度至航线方向，图像i2中的任一点在图像i1中的图像坐标的计算公式如下：
其中，h
rigid
表示平移变化矩阵；配准图像的仿射矩阵参数的左上角像元地理坐标g(x
enew
，y
enew
)的计算公式如下：配准图像的地面分辨率x
pixel
、y
pixel
和r
γ
均保持不变。6.如权利要求1所述的一种面向水域的无人机遥感多光谱图像拼接方法，其特征在于，所述第五步中，抠取重叠区域图像，包括以下内容：步骤51，将图像i1和i2分别绕o1和o2旋转γ度至航线方向；步骤52，步骤51中的旋转完成后，根据计算机图形学知识，计算出图像i1四角构成的四边形i
1a
i
1b
i
1c
i
1d
与图像i2四角构成的四边形i
2a
i
2b
i
2c
i
2d
的多边形重叠区域；步骤53，在步骤52中的多边形重叠区域向外添加一定偏置δ，最终获得多边形重叠区域abcd的坐标；步骤54，利用步骤53中的多边形重叠区域abcd的坐标制作掩膜图像，从图像i1和i2中获得只含重叠区域的图像，记为图像i1′
和i2′
。7.如权利要求1所述的一种面向水域的无人机遥感多光谱图像拼接方法，其特征在于，所述第六步中，构建第一主成分图像的尺度不变特征变换sift模型的方法如下：步骤61，输入大小为w
×
h，波段数为c的多光谱图像矩阵i，将i重组为w
×
h行c列矩阵i
reshape
，对i
reshape
每一列进行归一化得到i
′
reshape
；i
′
reshape
的计算公式如下：步骤62，根据步骤61中的i
′
reshape
，计算协方差矩阵cov；协方差矩阵cov的计算公式如下：步骤63，计算步骤62中的协方差矩阵cov最大特征值对应的特征向量vec；步骤64，对重组图像的i
reshape
提取步骤63中的特征向量vec的主成分图像，并重组为w
×
h大小的图像i
pca
；图像i
pca
的计算公式如下：i
pca
＝i
reshape
·
vec
ꢀꢀꢀ
(20)步骤65，将步骤64中的主成分图像作为尺度不变特征变换sift特征点提取的输入，然后进行构建dog尺度空间、检测dog尺度空间的极值点，删除不稳定的特征点、对特征点方向进行赋值和生成特征点描述子；所述构建dog尺度空间，包括以下内容：通过对源图像进行高斯模糊和降采样得到图像金字塔，降采样的计算公式如下：
其次对图像金字塔的每层图像使用不同的σ参数进行高斯模糊，得到的多张模糊过图像构成了高斯金字塔，其计算公式如下：像构成了高斯金字塔，其计算公式如下：然后将相邻的两个高斯空间的图像相减得到dog图像，其计算公式如下：式中，down表示降采样，其中g0＝i；i(x，y)表示源图像，l(x，y，σ)表示原图像卷积后的高斯尺度空间，代表卷积运算，σ表示高斯卷积核的尺度因子；g(x，y，σ)表示高斯核函数，(m，n)代表卷积核的大小；k表示相邻尺度空间的比例因子，取检测dog尺度空间的极值点，包括以下内容：将每个像素点与同一尺度领域的8个像素点和上下相邻的尺度的18个像素点进行比较，只有当该像素点的dog值全部大于或小于对比的26个像素点的dog值时，该像素点是dog尺度空间上一个极值点；删除不稳定的特征点，包括以下内容：首先，为了得到极值点的精确位置，需要对离散空间进行像素差值，然后通过类比拟合三维二次函数以得到极值点精确位置，最后剔除低对比度的极值点；同时，对边缘响应大的极值点进行舍弃；对特征点方向进行赋值，包括以下内容：计算每个特征点的模m(x，y)和方向θ(x，y)的计算公式如下：计算每个特征点的模m(x，y)和方向θ(x，y)的计算公式如下：式中，l(x，y)是特征点所在的尺度空间值；以特征点为中心，计算以3σ为半径的邻域梯度幅值和方向，利用直方图统计领域像素点的梯度方向分布，将梯度方向从0～360
°
分成36等份，把直方图中主峰值的所在方向确定为该特征点的主方向，若存在一个等份方向的峰值大于主峰值80％时，则将该等份方向作为该特征点的辅方向；生成特征点描述子，包括以下内容：将该区域的图像坐标轴旋转到与特征点梯度方向重合；然后取以特征点为中心的16
×
16大小的邻域窗口，计算每一个像素的梯度，距离特征点越近则权值越大，子区域的像素梯度按照σ＝d/2来进行高斯加权，权重计算公式如下；再将该区域细分为4
×
4个子区域，通过对梯度值进行加权的方法统计每个子区域中8个方向的梯度直方图，形成8位的向量描述，这将构成一个4
×4×
8＝128维的描述向量，最后将这些向量归一化后，即为尺度不变特征变换sift特征点的描述符。
8.如权利要求1所述的一种面向水域的无人机遥感多光谱图像拼接方法，其特征在于，所述第七步中，匹配点的筛选方法如下：采用查询索引kd树方式，通过空间距离选择与图像i1中每个特征点最接近的图像i2中的n个特征匹配点形成一对多的假设匹配集，并采取空间距离作为特征点相似性的评估指标，空间距离包括欧氏距离d
p
和像素坐标距离d
d
的加权和，其计算公式如下：的加权和，其计算公式如下：其中，e1和e2分别为两个特征点的特征描述子向量；g1和g2为像素点位置坐标；计算每个特征点与假设匹配集点的空间距离d
s
，其计算公式如下：d
s
＝α
·
d
d
(1-α)
·
d
p
ꢀꢀꢀ
(14)其中，α为匹配点的像素坐标距离项影响因子；匹配筛选策略采用最近邻空间距离与次近邻空间距离之比，其计算公式如下：r＝min_fst/min_scd
ꢀꢀꢀ
(15)其中min_fst为最近空间距离，min_scd次近空间距离；当r＜t，t是预先确定的比值，则两个角点互为匹配点对，实现对所有的特征点进行粗匹配；对于局部相似属性的特征点，匹配点的筛选过程如下：计算匹配点对间的距离，将距离值的最大最小值均匀的分为10个区间，每个区间的频率为p＝{p1，
…
，p
10
}，则峰值区间的频率为max(p)，对应的区间为第i个，在区间[i-1，i 1]中的匹配点对是正确匹配点对，该匹配点对集为寻找的精确匹配点对；再根据随机抽样一致ransac算法消除错误特征点对，从而计算出单应性变化矩阵，用单应性变换矩阵乘以图像得到待融合图像。9.如权利要求1所述的一种面向水域的无人机遥感多光谱图像拼接方法，其特征在于，所述第八步中，基于拉普拉斯laplacian金字塔的多分辨率融合模型的构建方法如下：每两幅图像的融合首先建立两幅图像i1和i2的高斯金字塔g1、g2，然后建立对应的4层laplace金字塔图像lap1、lap2；制作一个和图像i1同样大小的mask掩膜图像i
mask
，这个掩模图像代表融合的位置，然后求mask图像的高斯金字塔g
mask
，其代表每个像素点的融合权重；在每个尺度即分辨率下，根据当前尺度的g
mask
将两幅图像的laplace金字塔图像lap1，lap2进行相加，最终得到拼接的laplace金字塔图像lap
fused
；以lap
fused
的最低分辨率图作为起始图，重构得到最高分辨率的拼接结果。10.一种计算机设备，其特征在于，包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-9任一所述的一种面向水域的无人机遥感多光谱图像拼接方法。

技术总结
本发明公开了一种面向水域的无人机遥感多光谱图像拼接方法及系统，属于水域图像处理技术领域。本发明是一种面向水域的无人机遥感多光谱图像拼接方法，根据经纬度POS信息进行图像的几何校正预处理，得到校正图像，并对校正图像添加地理坐标投影信息；然后根据地理坐标投影信息，进行图像的粗配准，得到配准图像；再根据配准图像，利用计算机图形学知识，计算出重叠区域位置，得到待拼接图像；进而构建基于主成分图像的尺度不变特征变换SIFT模型，提取待拼接图像的特征点；并以空间距离作为特征点的相似性评估指标，筛选出符合要求的匹配点；最后构建多分辨率融合模型，对待拼接图形进行融合，实现无人机遥感多光谱图像的拼接。实现无人机遥感多光谱图像的拼接。实现无人机遥感多光谱图像的拼接。


技术研发人员：张维维 陈洪立 乔欣 蔡万铭 徐憧意 夏仁森
受保护的技术使用者：浙江理工大学
技术研发日：2022.06.08
技术公布日：2022/8/22