基于多源信息融合的地图重建方法及其系统与流程

本技术涉及智能构建领域，且更为具体地，涉及一种基于多源信息融合的地图重建方法及其系统。

背景技术：

1、在自动驾驶、机器人导航和智能交通系统等领域，对自动化地图重建的需求不断增长，以支持精确的定位和路径规划。地图重建是一种计算机视觉技术，它涉及到从一系列图像中提取三维信息来构建环境的详细模型，这个过程通常需要使用特定的传感器和算法来分析图像，并从中提取出深度和位置信息。地图重建在许多领域都有应用，如机器人导航、增强现实、城市规划、游戏开发等。

2、然而，传统地图重建可能依赖单一类型的数据源，如仅使用光学图像或地形数据，这可能无法提供全面的地理环境信息。并且，单一数据源可能无法覆盖所有区域，特别是在地形复杂或难以接近的地区，导致地图信息不完整。

3、因此，期望一种基于多源信息融合的地图重建方案。

技术实现思路

1、为了解决上述技术问题，提出了本技术。

2、根据本技术的一方面，提供了一种基于多源信息融合的地图重建方法，其包括：

3、获取由无人机采集的目标区域的俯拍图像；

4、从数据库提取所述目标区域的卫星图像；

5、对所述目标区域的俯拍图像和所述目标区域的卫星图像分别进行目标区域影像特征提取以得到目标区域俯拍图像特征图和目标区域卫星图像特征图；

6、将所述目标区域俯拍图像特征图和所述目标区域卫星图像特征图输入协同关注模块以得到协同关注强化目标区域俯拍图像特征图和协同关注强化目标区域卫星图像特征图；

7、将所述协同关注强化目标区域俯拍图像特征图和所述协同关注强化目标区域卫星图像特征图输入多通道特征融合模块以得到目标区域多模态融合表示特征图作为目标区域多模态融合表示特征；

8、基于所述目标区域多模态融合表示特征，得到目标区域三维模型。

9、在上述基于多源信息融合的地图重建方法中，对所述目标区域的俯拍图像和所述目标区域的卫星图像分别进行目标区域影像特征提取以得到目标区域俯拍图像特征图和目标区域卫星图像特征图，包括：将所述目标区域的俯拍图像和所述目标区域的卫星图像分别通过基于空洞卷积神经网络模型的目标区域影像特征提取器以得到所述目标区域俯拍图像特征图和所述目标区域卫星图像特征图。

10、在上述基于多源信息融合的地图重建方法中，将所述目标区域俯拍图像特征图和所述目标区域卫星图像特征图输入协同关注模块以得到协同关注强化目标区域俯拍图像特征图和协同关注强化目标区域卫星图像特征图，包括：计算所述目标区域俯拍图像特征图和所述目标区域卫星图像特征图之间的全通道目标区域特征相似度矩阵；对所述全通道目标区域特征相似度矩阵进行归一化处理以得到归一化全通道目标区域特征相似度矩阵；基于所述归一化全通道目标区域特征相似度矩阵计算目标区域俯拍图像协同关注权重向量和目标区域卫星图像协同关注权重向量；以所述目标区域俯拍图像协同关注权重向量和所述目标区域卫星图像协同关注权重向量作为权重向量，分别计算所述目标区域俯拍图像特征图和所述目标区域卫星图像特征图的逐通道乘积以得到所述协同关注强化目标区域俯拍图像特征图和所述协同关注强化目标区域卫星图像特征图；其中，对所述全通道目标区域特征相似度矩阵进行归一化处理以得到归一化全通道目标区域特征相似度矩阵，包括：以所述全通道目标区域特征相似度矩阵中的每个特征值作为自然常数的指数，以计算按位置的以自然常数为底的指数函数值以得到目标区域全通道特征相似度类支持矩阵；计算所述目标区域全通道特征相似度类支持矩阵中的各个列向量的加和以得到由多个列向量全局加和值组成的目标区域全通道特征相似度类支持列全局向量；计算所述目标区域全通道特征相似度类支持矩阵中的各个特征值与所述目标区域全通道特征相似度类支持列全局向量中相应的列向量全局加和值之间的按位置除法以得到所述归一化全通道目标区域特征相似度矩阵。

11、在上述基于多源信息融合的地图重建方法中，计算所述目标区域俯拍图像特征图和所述目标区域卫星图像特征图之间的全通道目标区域特征相似度矩阵，包括：对所述目标区域俯拍图像特征图和所述目标区域卫星图像特征图进行形状重塑以得到目标区域俯拍图像特征矩阵和目标区域卫星图像特征矩阵；计算所述目标区域俯拍图像特征矩阵和所述目标区域卫星图像特征矩阵的转置矩阵之间的乘积以得到所述目标区域俯拍图像特征图和所述目标区域卫星图像特征图之间的所述全通道目标区域特征相似度矩阵。

12、在上述基于多源信息融合的地图重建方法中，基于所述归一化全通道目标区域特征相似度矩阵计算目标区域俯拍图像协同关注权重向量和目标区域卫星图像协同关注权重向量，包括：对所述目标区域俯拍图像特征图和所述目标区域卫星图像特征图进行沿通道维度的全局均值池化以得到目标区域俯拍图像全通道特征向量和目标区域卫星图像全通道特征向量；计算所述归一化全通道目标区域特征相似度矩阵与所述目标区域俯拍图像全通道特征向量之间的矩阵乘积以得到所述目标区域俯拍图像协同关注权重向量；计算所述归一化全通道目标区域特征相似度矩阵与所述目标区域卫星图像全通道特征向量之间的矩阵乘积以得到所述目标区域卫星图像协同关注权重向量。

13、在上述基于多源信息融合的地图重建方法中，将所述协同关注强化目标区域俯拍图像特征图和所述协同关注强化目标区域卫星图像特征图输入多通道特征融合模块以得到目标区域多模态融合表示特征图作为目标区域多模态融合表示特征，包括：将所述协同关注强化目标区域俯拍图像特征图和所述协同关注强化目标区域卫星图像进行级联以得到目标区域俯拍-目标区域卫星串联特征图；对所述目标区域俯拍-目标区域卫星串联特征图进行卷积编码以得到目标区域俯拍-目标区域卫星关联特征图；对所述目标区域俯拍-目标区域卫星关联特征图进行批量归一化处理以得到归一化目标区域俯拍-目标区域卫星关联特征图；对所述归一化目标区域俯拍-目标区域卫星关联特征图进行基于最大值的全局池化处理、基于随机值的全局池化处理和基于平均值的全局池化处理以得到目标区域俯拍-目标区域卫星全局最大值池化特征向量、目标区域俯拍-目标区域卫星全局随机值池化特征向量和目标区域俯拍-目标区域卫星全局均值池化特征向量；计算所述目标区域俯拍-目标区域卫星全局最大值池化特征向量、所述目标区域俯拍-目标区域卫星全局随机值池化特征向量和所述目标区域俯拍-目标区域卫星全局均值池化特征向量之间的按位置加权和以得到目标区域俯拍-目标区域卫星关联多尺度池化表示向量；以所述目标区域俯拍-目标区域卫星关联多尺度池化表示向量中各个位置的特征值作为权重，对所述协同关注强化目标区域俯拍图像特征图的沿通道维度的各个特征矩阵进行加权以得到所述目标区域多模态融合表示特征图。

14、在上述基于多源信息融合的地图重建方法中，计算所述目标区域俯拍-目标区域卫星全局最大值池化特征向量、所述目标区域俯拍-目标区域卫星全局随机值池化特征向量和所述目标区域俯拍-目标区域卫星全局均值池化特征向量之间的按位置加权和以得到目标区域俯拍-目标区域卫星关联多尺度池化表示向量，包括：将所述目标区域俯拍-目标区域卫星全局最大值池化特征向量、所述目标区域俯拍-目标区域卫星全局随机值池化特征向量和所述目标区域俯拍-目标区域卫星全局均值池化特征向量分别与相应的调整参数进行按位置相乘以得到目标区域俯拍-目标区域卫星全局最大值调制特征向量、目标区域俯拍-目标区域卫星全局随机值调制特征向量和目标区域俯拍-目标区域卫星全局均值调制特征向量；将所述目标区域俯拍-目标区域卫星全局最大值调制特征向量、所述目标区域俯拍-目标区域卫星全局随机值调制特征向量和所述目标区域俯拍-目标区域卫星全局均值调制特征向量进行按位置相加以得到所述目标区域俯拍-目标区域卫星关联多尺度池化表示向量。

15、在上述基于多源信息融合的地图重建方法中，基于所述目标区域多模态融合表示特征，得到目标区域三维模型，包括：将所述目标区域多模态融合表示特征图通过基于对抗生成网络的三维建模器以得到目标区域三维模型。

16、根据本技术的另一方面，提供了一种基于多源信息融合的地图重建系统，其包括：

17、目标区域的俯拍图像采集模块，用于获取由无人机采集的目标区域的俯拍图像；

18、目标区域的卫星图像采集模块，用于从数据库提取所述目标区域的卫星图像；

19、目标区域影像特征提取模块，用于对所述目标区域的俯拍图像和所述目标区域的卫星图像分别进行目标区域影像特征提取以得到目标区域俯拍图像特征图和目标区域卫星图像特征图；

20、协同关注强化模块，用于将所述目标区域俯拍图像特征图和所述目标区域卫星图像特征图输入协同关注模块以得到协同关注强化目标区域俯拍图像特征图和协同关注强化目标区域卫星图像特征图；

21、多通道特征融合模块，用于将所述协同关注强化目标区域俯拍图像特征图和所述协同关注强化目标区域卫星图像特征图输入多通道特征融合模块以得到目标区域多模态融合表示特征图作为目标区域多模态融合表示特征；

22、目标区域三维模型生成模块，用于基于所述目标区域多模态融合表示特征，得到目标区域三维模型。

23、在上述基于多源信息融合的地图重建系统中，所述目标区域影像特征提取模块，用于：将所述目标区域的俯拍图像和所述目标区域的卫星图像分别通过基于空洞卷积神经网络模型的目标区域影像特征提取器以得到所述目标区域俯拍图像特征图和所述目标区域卫星图像特征图。

24、与现有技术相比，本技术提供的一种基于多源信息融合的地图重建方法及其系统，其通过获取由无人机采集的目标区域的俯拍图像，且从数据库提取所述目标区域的卫星图像。并采用基于计算机视觉的图像处理和分析技术对所述目标区域的俯拍图像和所述目标区域的卫星图像进行图像分析和特征提取，以此根据所述目标区域的俯拍图像和所述目标区域的卫星图像的多模态融合表示特征来自动地生成目标区域三维模型。通过该方式，可以提供更精确的地形和特征信息，减少单一数据源可能存在的误差，同时能够扩大地图的覆盖范围，以使得生成的结果更准确、更详细。