一种具有旋转和尺度不变性的多模态影像匹配方法及装置与流程

技术特征：
1.一种具有旋转和尺度不变性的多模态影像匹配方法，其特征在于，包括：s1：构建多模态影像尺度金字塔，按缩放比对参考影像和目标影像进行逐级采样，得到不同尺度的影像；s2：对所述参考影像和所述目标影像，分别检测并提取所述多模态影像尺度金字塔中各影像的特征点；s3：使用滤波器对所述参考影像和所述目标影像进行卷积，基于s2检测到的特征点的卷积影像结果构造层级特征图，并基于所述层级特征图进行特征描述，构造至少两张影像层级特征图；s4：计算s2所述至少两张影像层级特征图中的众数特征值中心化坐标，将特征点与众数特征值中心化坐标的连线方向作为特征点的主方向，将局部影像旋转到主方向上，并对特征值进行规则化，构建具有旋转不变性的特征描述子；s5：在完成s2所述特征提取和特征描述之后，使用最近欧式距离得到匹配点对应，按照相似变换模型进行粗差剔除，得到匹配结果，基于所述匹配结果解算所述参考影像和所述目标影像之间的几何变换模型；s6：基于所述几何变换模型,将所述目标影像重采样至所述参考影像的像素坐标系，得到重采样后的目标影像；s7：将所述参考影像的特征点和卷积结果保留，再次使用s3中所选定的滤波器对所述重采样后的目标影像进行卷积，得到卷积结果，对所述参考影像和所述重采样后的目标影像卷积结果沿方向维进行归一化，构造卷积特征图；s8：对所述卷积特征图完成增强匹配及匹配点反算，将增强匹配结果作为最终结果进行输出。2.根据权利要求1所述的方法，其特征在于，所述主方向的确定方法，具体包括：在所述至少两张影像层级特征图中，以特征点为中心确定一圆形窗口，对窗口内每种特征值的数量进行统计，得到众数对应的特征值；选取计算区域中心，对众数特征值进行中心化；将特征点与众数特征值中心化坐标的连线方向作为特征点的主方向。3.根据权利要求2所述的方法，其特征在于，所述主方向的确定方法，进一步包括：针对次众数特征值加以分析，若次众数特征区域超过众数特征区域的第一百分比，则增加计算次众数特征区域的中心化坐标，为特征点确定出次主方向以及其对应的特征向量。4.根据权利要求1所述的方法，其特征在于，所述基于该层级特征图进行特征描述，构造至少两张影像层级特征图，具体包括：使用具有多方向性质的滤波器对所述参考影像和所述目标影像进行卷积时设置j*k个方向，可得到j*k张卷积图，每间隔j张分为一组，得到k组卷积图，抽取每组中的第一张卷积图构造第一张特征图，抽取每组中的第二张卷积图构造第二张特征图，以此类推共构造出j张特征图，完成特征描述。5.根据权利要求1所述的方法，其特征在于，所述增强匹配及匹配点反算，具体包括：对所述卷积特征图，计算所述参考影像上每个特征点对应的匹配点，按照所述相似变换模型进行粗差剔除，得到匹配结果，将所述重采样后的目标影像上的匹配点使用s5所述
几何变换模型反算回原始目标影像上，完成增强匹配，将增强匹配结果作为最终结果进行输出。6.一种具有旋转和尺度不变性的多模态影像匹配装置，其特征在于，包括：采样单元：构建多模态影像尺度金字塔，按缩放比对参考影像和目标影像进行逐级采样，得到不同尺度的影像；检测单元：对所述参考影像和所述目标影像，分别检测并提取所述多模态影像尺度金字塔中各影像的特征点；描述单元：对所述参考影像和所述目标影像进行函数卷积，基于s2检测到的特征点的卷积影像结果构造层级特征图，并基于所述层级特征图进行特征描述，构造至少两张影像层级特征图；计算单元：计算s2所述至少两张影像层级特征图中的众数特征值中心化坐标，将特征点与众数特征值中心化坐标的连线方向作为特征点的主方向，将局部影像旋转到主方向上，并对特征值进行规则化，构建具有旋转不变性的特征描述子；解算单元：在完成s2所述特征提取和特征描述之后，使用最近欧式距离得到匹配点对应，按照相似变换模型进行粗差剔除，得到匹配结果，基于所述匹配结果解算所述参考影像和所述目标影像之间的几何变换模型；重采样单元：基于所述几何变换模型,将所述目标影像重采样至所述参考影像的像素坐标系，得到重采样后的目标影像；构造单元：将所述参考影像的特征点和卷积结果保留，对所述重采样后的目标影像进行卷积，得到卷积结果，对所述参考影像和所述重采样后的目标影像卷积结果沿方向维进行归一化，构造卷积特征图；增强匹配单元：对所述卷积特征图完成增强匹配及匹配点反算，将增强匹配结果作为最终结果进行输出。7.根据权利要求6所述的装置，其特征在于，所述检测单元包括：统计模块：在所述至少两张影像层级特征图中，以特征点为中心确定一圆形窗口，对窗口内每种特征值的数量进行统计，得到众数对应的特征值；主方向模块：将所述众数对应的特征值的对应区域看作一个厚度和密度都均匀的不规则多边形，计算各子区域的中心化坐标，逐像素添加子区域并持续更新中心化坐标，得到所述众数对应的特征值的对应区域的中心化坐标，即众数特征值中心化坐标；确定模块：将特征点与众数特征值中心化坐标的连线方向作为特征点的主方向。8.根据权利要求7所述的装置，其特征在于，所述检测单元进一步包括：分析模块：针对次众数特征值加以分析，若次众数特征区域超过众数特征区域的第一百分比，则增加计算次众数特征区域的中心化坐标，为特征点确定出次主方向以及其对应的特征向量。9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并且可以在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述方法的步骤。10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述方法的步骤。

技术总结
本发明公开了一种具有旋转和尺度不变性的多模态影像匹配方法及装置，涉及影像处理技术领域，主要目的在于提高多模态影像匹配的精度，能够提高对噪声的抵抗性和对不同模态影像的通用性，且可以消除影像间的旋转、尺度和平移差异。所述方法包括：构建多模态影像尺度金字塔，提取多模态影像尺度金字塔中各影像的特征点，构造至少两张影像层级特征图，构建具有旋转不变性的特征描述子，解算参考影像和目标影像之间的几何变换模型，目标影像重采样，构造卷积特征图，完成增强匹配及匹配点反算，将增强匹配结果作为最终结果进行输出。本发明适用于多模态影像的匹配。用于多模态影像的匹配。用于多模态影像的匹配。


技术研发人员：樊仲藜 刘玉轩 孙钰珊 张力
受保护的技术使用者：中国测绘科学研究院
技术研发日：2022.08.16
技术公布日：2022/10/18