一种基于边缘信息辅助双光谱融合的目标检测方法

本发明涉及低光环境下目标检测领域，尤其涉及一种基于边缘信息辅助双光谱融合的目标检测方法。

背景技术：

1、在实际应用中，低照明条件下的目标检测面临着诸多困难，包括光照不足、阴影、模糊等问题，使得传统的单一模态检测方法难以在这种复杂环境中取得理想的效果。为了克服这些挑战，多光谱目标检测成为一个备受关注的解决方案。

2、多光谱目标检测的核心思想是充分利用不同波段的传感器信息，通常包括可见光和热红外图像。这两种模态提供了互补的信息，可见光适用于正常光照条件下的检测，而热红外则对于低光环境或存在光照不足的情况有更好的适应性。因此，多光谱融合可以提高目标检测的准确性和鲁棒性。

3、然而，目前的方法在多模态信息融合上存在一些问题，主要体现在忽视了具有特殊的意义和重要性的信息，以及缺乏对融合结果的可理解性。为了解决这些问题，该创新方法提出了一种结合多模式边缘信息提取和多光谱语义融合的策略，以更精确地引导多模式信息的融合，从而改善低光环境中目标检测的性能。

4、近年来，多光谱目标检测领域取得进展，包括各种融合架构和技术的提出。研究发现后期融合架构优于早期融合和传统的聚合通道特征方法。中途融合和融合rpn也证明中期融合的优越性。不同的研究提出了多种方法，如跨模态交互注意力、递归融合和细化模块、特征对齐模块、多标签学习、双向adagrad注意门等，以提高多光谱目标检测的性能。然而，目前的方法尚未充分探索目标在模态中的边缘信息特征及其与多光谱语义信息的融合，这可能是未来研究的一个方向。

5、在大多数现有多模式目标检测方法的算法模型中，作为输入量的可见热图像只是被简单地堆叠，其中的多模式信息得不到充分应用，很容易导致在分割任务中包含独特的缘信息模态被忽视，发挥不出更突出的作用。

技术实现思路

1、为解决上述问题，本发明公开了一种基于边缘信息辅助双光谱融合的目标检测方法，于提高两种模式之间的一致性，并提高从这些多模式中整合多光谱信息的能力。

2、一种基于边缘信息辅助双光谱融合的目标检测方法，包括以下步骤：

3、s1、获取配对的红外与可见光目标图像，进行随机翻转数据增强操作，完成数据预处理，并按比例划分训练集、验证集和测试集；

4、s2、构建融合多光谱语义与边缘注意力信息的多光谱目标检测网络结构，即msenet网络结构，所述msenet在resnet18网络基础上增添了3个阶段，即stage5-7，再在红外图像的网络中设计加入了边缘注意力模块，用于获取来自红外光谱中的目标边缘信息，其次利用包括红外、可见光、边缘信息在内的三种模态信息设计了融合模块(mse)每个阶段中都加入了融合模块，最后将融合的结果输入检测器部分得到最后的输出结果；

5、s3、通过所述红外与可见光目标图像对msenet进行训练，调节超参数,即使用adam优化器，学习率设置0.0001，以得到最佳的目标检测模型。

6、本发明的有益效果：

7、1、该方法用于提高两种模式之间的一致性，并提高从这些多模式中整合多光谱信息的能力；分析两个视图之间的多光谱语义关系。该关系被建模以生成多光谱表示，可见光和红外信息的深度融合由边缘信息引导。

8、2、通过对目标的边缘信息进行红外成像，可以提高检测性能。然而，边缘特征是浅特征。直接使用最后一个卷积块的输出特征会迫使深度网络捕获浅边缘特征，从而影响边缘特征的提取性能。此外，使用中间层还可以带来丰富的边缘信息卷积特征。因此，有必要利用中后期卷积层来获得更丰富的特征。

9、3、mse模块是一种有效的融合机制，在边缘注意辅助的指导下实现多光谱模态语义一致性，在互补模态和边缘特征信息的指导下实现可见光和红外特征的融合。mse模块在语义信息丰富的深度特征指导下构造两个模态的特征向量，计算模态之间深度语义的相似度，提高模态之间的一致性，抑制模态特有的噪声，关注模态中的多光谱特征信息，并对融合目标特征上下文的语义信息进行加权。该融合机制依赖于多光谱语义一致性，增强了目标信息的感知能力，并通过包含三个特征来支持更准确、更稳定的目标检测。

技术特征：

1.一种基于边缘信息辅助双光谱融合的目标检测方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的一种基于边缘信息辅助双光谱融合的目标检测方法，其特征在于：所述s2的多模式目标检测方法主要由特征提取和检测结构、边缘特征提取模块和融合模块组成；所述的提取结构采用resnet18网络架构，并添加stage5-7结构，每个结构包含两个卷积层，以从多模式图像中提取深层语义特征；使用ssd算法进行最终融合和边界盒回归预测；所述边缘特征提取模块旨在通过以卷积网络为骨干，设计边缘特征提取模块，提取边缘特征进行特征增强；考虑到红外图像模态的模态特征，仅选择第4阶段之后的特征作为边缘检测模块的输入。

3.根据权利要求1所述的一种基于边缘信息辅助双光谱融合的目标检测方法，其特征在于：所述骤s3所述检测过程，在测试集上对模型进行评估；评价指标使用mr-rate、mr-scale、mr-occlusion。

4.根据权利要求1所述的一种基于边缘信息辅助双光谱融合的目标检测方法，其特征在于：所述s2中：所述边缘注意力模块包括：使用两个卷积算子来提取特征图的边缘信息，分别通过bn层对语义信息进行归一化，然后使用l2范数和sigmoid函数来聚合水平和垂直空间信息，同时获得关注值；最后，在逐元素相乘后，注意力值将被相应地广播，以获边缘卷积的输出结果；边缘特征提取模块的计算公式如下：

5.根据权利要求1所述的一种基于边缘信息辅助双光谱融合的目标检测方法，其特征在于：针对s2所述特征融合模块为了通过边缘特征辅助来估计不同形态目标特征之间的语义相似度，因此提出了一种交叉视图特征表示：

6.根据权利要求5所述一种基于边缘信息辅助双光谱融合的目标检测方法，其特征在于：针对s2所述特征融合模块遵循交叉注意引用的形式，通过线性映射将输入u分别表示为q、k、v；然后将边缘特征的查询向量qe分别添加到可见光和热查询向量qr，qt，以帮助指导两种模式的融合。最终构造了一种新颖的交叉注意引用的形式。

7.根据权利要求5所述的一种基于边缘信息辅助双光谱融合的目标检测方法，其特征在于：所述的融合模块基于交叉注意机制，使用该模态的键分别计算剩余模态查询的点积注意。

8.根据权利要求5所述的一种基于边缘信息辅助双光谱融合的目标检测方法，其特征在于：所述述的融合模块基于交叉注意机制计算公式如下：其中softmax代表激活函数softmax，t代表转置向量，d代表向量的维度，t，r，e分别表示来自红外，可见光，边缘的特征，k,v,q分别表示不同向量空间的特征；

技术总结本发明一种基于边缘信息辅助双光谱融合的目标检测方法，采用多光谱边缘信息提取和多特征融合的策略，旨在更充分地利用边缘信息以引导多光谱实现精确融合检测。首先，本发明构建了边缘特征提取模块，用于提取目标边缘特征；随后引入融合模块（MSE），充分利用边缘特征，辅助并引导模态融合，提高可见光和红外信息之间的模态一致性，提高检测精度。本发明一种基于边缘信息辅助双光谱融合的目标检测方法，采用多光谱边缘信息提取和多特征融合的策略，旨在更充分地利用边缘信息以引导多光谱实现精确融合检测。首先，本发明构建了边缘特征提取模块，用于提取目标边缘特征；随后引入融合模块（MSE），充分利用边缘特征，辅助并引导模态融合，提高可见光和红外信息之间的模态一致性，提高检测精度。技术研发人员：陈芃州,崔建伟受保护的技术使用者：东南大学技术研发日：技术公布日：2024/11/4