一种基于超分辨率和多模态融合的遥感图像车辆检测方法

本发明涉及视频处理，具体涉及一种基于超分辨率和多模态融合的遥感图像车辆检测方法。

背景技术：

1、遥感图像在成像质量、场景多样性和覆盖目标数量等方面都取得了显著提升，基于卫星遥感图像具有覆盖范围广、获取周期短等优点，被广泛应用于包括建筑区、道路、停车场等多种应用场景，以及车辆、船只、桥梁等多种目标类型。此外，遥感图像在环境监测、灾害评估、资源管理和城市规划等领域也发挥着至关重要的作用。例如，在环境监测方面，遥感图像可以用于检测森林覆盖变化、监控水体污染和评估气候变化的影响。在灾害评估中，遥感技术能够快速提供受灾区域的高分辨率图像，帮助救援人员评估灾害影响并制定救援计划。在资源管理方面，遥感图像被用于农业监测、矿产资源勘探和渔业资源管理，从而提高资源利用效率和可持续发展能力。城市规划中，遥感技术为城市扩展、交通流量分析和基础设施建设提供了可靠的数据支持，帮助规划者优化城市布局和提升城市管理水平。

2、然而，由于卫星的空间分辨率有限，特别是高空轨道卫星获取的图像分辨率较低，难以识别小尺度目标物体，如地面车辆等，这限制了卫星遥感图像在某些精细化应用中的有效性。此外，车辆的颜色和纹理特征不丰富、类型多样，分布场景复杂多变，加上背景干扰较多，导致车辆目标检测难度较大。特别是在低光照条件下，可见光图像中车辆目标的颜色和轮廓信息严重丢失，车辆与背景的对比度下降，反差较小，使得检测模型提取的车辆特征不足，导致漏检现象频发。在恶劣天气条件下，卫星遥感图像中的可见光和红外光均难以获得车辆目标的有效特征。可见光遥感图像在阴天、雾霾、降雨和降雪等条件下，其成像效果会显著下降。反过来，可见光图像提供直观易懂的丰富色彩信息，适合细节识别和场景理解；红外图像在低光照条件下表现出色，具有温度敏感性和全天候工作能力，适用于复杂环境中的目标检测；雷达图像则不受恶劣天气影响，能够穿透云层、烟雾等障碍，提供稳定的目标信息。通过结合三种图像的优点，可以在多样化和复杂的场景中实现更高效、更准确的目标检测。因此，研发一种基于超分辨率和多模态融合的遥感图像车辆检测方法，对于提高低光照和恶劣天气条件下的车辆目标检测效果具有重要的研究意义和应用价值。

技术实现思路

1、本发明所要解决的技术问题是在恶劣天气条件下，卫星遥感图像的分辨率低，检测精度低，目的在于提供一种基于超分辨率和多模态融合的遥感图像车辆检测方法，通过引入超分辨率生成对低分辨率遥感图像的精细化处理，并利用多模态特征融合技术，结合不同模态图像的优点来生成更清晰的目标特征，提高了遥感图像车辆目标检测的准确性。

2、本发明通过下述技术方案实现：

3、本发明提供一种基于超分辨率和多模态融合的遥感图像车辆检测方法，包括以下具体步骤：

4、获取遥感图像，对遥感图像进行预处理；

5、构建增强型超分辨率生成对抗网络对低分辨率的遥感图像进行超分辨率处理，生成高分辨率图像；

6、构建多层混合transformer编码器从高分辨率图像中提取特征，得到每个模态的多层特征图；

7、基于每个模态的多层特征图生成多尺度特征图；

8、对多尺度特征图进行特征编码和多模态特征融合，得到融合特征图；

9、基于retinanet算法构建分类子网络和回归子网络，生成检测模型；

10、将融合特征图输入检测模型，对每个锚点的车辆目标及其类别进行检测。

11、进一步的，所述对遥感图像进行预处理，具体步骤包括：

12、获取低分辨率模态的遥感图像，所述遥感图像包括可见光图像、红外图像和雷达图像；

13、对遥感图像进行去噪声和归一化处理；

14、将获取的多种模态的遥感图像的分辨率进行统一，得到预处理后的遥感图像。

15、进一步的，所述构建增强型超分辨率生成对抗网络对低分辨率的遥感图像进行超分辨率处理，具体步骤包括：

16、构建增强型超分辨率生成对抗网络，采用生成器生成高分辨率图像，采用判别器区分生成的高分辨率图像和真实的高分辨率图像，得到两个图像的真实性概率；

17、判断两个图像的真实性概率是否小于设定阈值；

18、若否，则对生成器和判别器进行训练，优化生成的高分辨率图像，直至两个图像的真实性概率小于设定阈值，输出高分辨率图像。

19、进一步的，所述对生成器和判别器进行对抗训练，具体步骤包括：

20、构建损失函数，所述损失函数包括对抗损失、感知损失和内容损失；

21、基于损失函数交替训练生成器和判别器，所述训练过程中：

22、所述生成器改进高分辨率图像质量以欺骗判别器；

23、所述判别器提高对生成的高分辨率图像和真实的高分辨率图像的区分能力。

24、进一步的，所述得到每个模态的多层特征图，具体步骤包括：

25、使用多层混合transformer编码器对高分辨率图像中的单模态图像的多层特征进行提取，得到全局语义信息和局部细节特征；

26、通过对全局语义信息和局部细节特征进行重叠补丁合并的方式得到每个模态的多层特征图。

27、进一步的，所述基于每个模态的多层特征图生成多尺度特征图，具体步骤包括：

28、将最高层次的多层特征图作为特征金字塔fpn的顶层特征图；

29、通过特征金字塔fpn对特征图自上而下依次进行上采样和横向连接处理：

30、获取当前层级的金字塔特征图进行上采样，得到分辨率与下一层特征图分辨率相同的特征图；

31、将上采样后的特征图与相应的底层特征图进行第一卷积后相加，生成新的金字塔特征图；

32、对生成新的金字塔特征图进行第二卷积操作，得到多尺度特征图。

33、进一步的，所述对多尺度特征图进行特征编码和多模态特征融合，具体步骤包括：

34、构建混合前馈网络mix-ffn对多尺度特征图进行特征编码，得到编码向量q、k和v

35、构建交叉注意力网络，计算ktv得到全局向量g；

36、将交叉注意力网络其中一个分支的全局向量g与另一分支的q进行相乘，得到跨模态交互的交叉注意力特征图；

37、将交叉注意力特征图与各自分支的多尺度特征图进行残差连接，得到合并特征；

38、构建残差网络对合并特征进行降维处理，得到匹配解码器的输入尺寸的特征图；

39、通过全连接mlp解码器对残差网络降维处理的特征图进行拼接，生成融合特征图。

40、进一步的，构建分类子网络，具体步骤包括：

41、基于retinanet中独立的卷积层得到分类子网络，采用分类卷积层对输入特征图进行处理，提取用于分类的特征，根据分类特征预测每个锚点是否包含目标以及属于目标类型。

42、进一步的，构建回归子网络，具体步骤包括：

43、基于retinanet得到回归子网络，采用卷积层对输入特征图进行处理，提取回归特征；

44、根据回归特征预测与每个锚点相关的边界框的位置调整值。

45、进一步的，在对车辆目标及其类别进行检测前，还包括对检测模型进行优化：

46、构建损失函数，所述损失函数包括焦点损失函数和平滑l1损失函数，所述焦点损失函数用于解决正负样本不平衡，所述平滑l1损失函数用于回归预测；

47、采用adam算法进行迭代训练，利用梯度信息更新检测模型的权重，优化检测模型参数，最小化损失函数，直至模型参数达到设定阈值，得到优化后的检测模型进行检测。

48、本发明与现有技术相比，具有如下的优点和有益效果：

49、通过引入超分辨率生成对低分辨率遥感图像的精细化处理，并利用多模态特征融合技术，结合不同模态图像的优点来生成更清晰的目标特征，提高了遥感图像车辆目标检测的准确性；

50、通过使用生成器从低分辨率图像ilr生成高分辨率图像然后通过判别器对生成的高分辨率图像与真实高分辨率图像进行区分。判别器的输出为两个图像的真实性概率，范围在[0,1之间。通过对抗训练，生成器不断优化生成图像的质量，以使判别器无法区分生成图像和真实图像，提升了图像的分辨率和细节，为后续的特征提取和融合提供了更为清晰和精确的图像基础；

51、mit编码器使用重叠补丁的策略来生成具有不同分辨率和通道数的多层特征图，并通过多头自注意力机制捕捉全局语义和局部细节。接着，特征金字塔网络(featurepyramid network,fpn)对提取的特征图进行处理，通过自上而下的路径和横向连接增强模型对多尺度目标的检测能力，生成平滑的一系列多尺度特征图。随后，将多头自注意力模块的输出送入混合前馈网络(mix-ffn)进行特征编码，mix-ffn通过结合卷积层和多层感知机(multi-layer perceptron，mlp)来增强模型对位置信息的感知，并减少信息泄漏。最后，在多模态特征融合阶段，使用交叉注意力机制将来自不同模态的特征图进行互补融合，并通过残差网络处理合并特征，生成最终的融合特征图。有效提取和融合了多模态融合特征，还为后续的车辆目标检测提供了丰富的特征信息；

52、分类子网络通过卷积层对融合特征图进行处理，以预测每个锚点是否包含车辆目标及其类别。具体地，分类卷积层应用于融合特征图上，使用sigmoid函数生成分类得分。回归子网络则专注于预测每个锚点的边界框调整值，回归卷积层处理融合特征图，输出预测的边界框坐标。为优化目标检测性能，retinanet结合了焦点损失和平滑l1损失函数。焦点损失用于处理正负样本不平衡问题，通过调整超参数来提升分类准确性；平滑l1损失则用于回归预测，减少坐标误差。最终，分类损失和回归损失的加权和构成了模型的总损失，权重参数用于平衡分类与回归任务。有效地利用了多模态数据的互补性，提升了目标检测的精度和鲁棒性。