基于双波段红外图像融合的海上落水人员检测方法及系统

本发明属于图像处理，特别涉及一种基于双波段红外图像融合的海上落水人员检测方法及系统。

背景技术：

1、随着我国海洋经济的发展，越来越多的海事人员投入到海洋事业中，而复杂多变的海洋环境常常导致各种突发事件发生，如船只碰撞、触礁沉没、船员落水等。我国每年都有数千起海上救援行动，搜救数以万计的落难人员。其中，海上落水人员检测是关键环节。快速识别海上落水人员有助于争取黄金救援时间，显著降低落水人员的死亡率。

2、目前，海上落水人员的检测主要采用红外热成像仪。红外热成像仪大多通过被动接收目标发出的8μm-14μm长波红外波段的辐射信号，根据目标与周围环境之间的不同热对比度，显示出红外辐射能量密度分布图。因而红外热成像仪不易受环境影响，无论白天黑夜，只要目标存在温差，即可很好地成像。然而，当海上人员落水时间较长时，体表温度趋于海水温度，在长波红外图像中易与背景融为一体，不易分辨，存在明显的热交叉现象。

3、短波红外的波长在0.75μm～2.5μm范围，与长波红外的自发辐射不同，短波红外主要来自于地物目标反射的环境中的红外辐射。短波红外的离水辐亮度近似于0，即海面在短波图像中近乎呈现黑色，而落水人员则会呈现更高的灰度值，利用短波红外这一特点,可以解决热交叉问题。

4、对于海上落水人员检测，融合短波红外图像与长波红外图像意义重大。首先，短波红外图像捕捉落水目标的反射光，而长波红外捕捉目标的热辐射，两者的融合可以提供更加丰富的信息。其次，长波红外信号特征强烈、透雾能力强，但图像纹理信息模糊且存在致命的热交叉问题；而短波红外对比度高、离水辐亮度近似于0，不仅可以解决热交叉问题，且可以避免长波红外图像中水天线、亮带、海浪等环境干扰。通过双波段红外图像融合，将充分利用短波红外图像与长波红外图像的互补性，全面表征落水目标信息，并避免各种环境因素对目标检测的干扰。

5、此外，海上落水人员检测任务对检测的准确性和实时性都有着很高的要求。目前yolo系列算法可以平衡检测的准确性和实时性要求，准确、快速地完成目标检测任务。但是海上落水人员检测任务还呈现大场景小目标检测的特点，现有算法在面对小目标检测时识别率仍较差。

6、针对上述问题，亟待一种融合短波红外图像与长波红外图像的海上落水人员检测方法及系统。

技术实现思路

1、本发明的目的在于针对目前海上落水人员检测方法的不足，提出一种基于短波红外与长波红外图像融合的海上落水人员检测方法及系统，全面表征落水目标信息，实现全天候、高效率的海上落水人员检测。

2、本发明主要通过两种途径解决海上落水人员检测问题：一方面本发明利用短波红外与长波红外之间的互补性，通过双波段图像融合，充分表征海上落水目标的信息，避免光照、雨雾、海情等环境因素对检测任务的干扰；另一方面本发明提出dat-yolov8算法，在yolov8模型基础上增加一个小目标检测层，并集成了可变形注意力机制的transformer模块及cbam模块，以处理目标的大尺度方差，提高其对小目标的检测能力。

3、本发明的目是通过以下技术方案实现的：

4、本发明一方面公开了一种基于双波段红外图像融合的海上落水人员检测方法，该方法包括：

5、步骤一，双波段红外图像采集：使用双波段红外相机同时获取短波红外图像和长波红外图像，双波段红外相机包括：短波红外相机和长波红外相机；

6、步骤二，双波段红外图像配准，包括以下子步骤：

7、2.1采用scharr边缘检测算子分别提取短波红外图像与长波红外图像的边缘信息，得到两者的边缘图像；

8、2.2通过尺度不变特征转换sift算法，分别提取两幅边缘图像的多个特征点并计算对应的描述子；

9、2.3通过随机抽样一致ransac算法对步骤2.2中的两幅边缘图像的特征点进行精匹配，剔除错误匹配的特征点，并根据两幅边缘图像正确的匹配特征点构建仿射变换矩阵，对短波红外图像进行空间坐标变换，实现图像配准；

10、步骤三，配准后的双波段红外图像融合，包括以下子步骤：

11、3.1重复前述的步骤一和步骤二，制作双波段红外图像配准数据集，用于双波段红外图像融合模型的训练；

12、3.2通过无监督图像融合u2fusion算法在双波段红外图像配准数据集上进行训练，获取双波段红外图像融合模型；

13、3.3将步骤二中配准后的短波红外图像及长波红外图像输入步骤3.2中训练得到的融合模型，生成双波段红外融合图像；

14、步骤四，基于融合图像的落水目标检测，包括以下子步骤：

15、4.1对步骤3.1中的双波段红外图像配准数据集重复步骤3.3获取融合图像，并对融合图像中的落水目标进行人工标注，构建双波段红外图像融合数据集；

16、4.2采用改进后的dat-yolov8算法在双波段红外图像融合数据集上进行训练，得到海上落水人员检测模型；

17、4.3根据步骤4.2中得到的海上落水人员检测模型，对步骤三中的双波段红外融合图像进行检测，得到海上落水人员检测结果。

18、进一步地，所述步骤一中，所述的双波段红外相机具体为：由同一光轴的短波红外相机以及长波红外相机组成，相机镜头处于同一平面，基线距离为4cm～8cm；其中短波红外相机采用ingaas焦平面探测器，光谱响应波段在0.9μm～1.7μm，相机分辨率为640×512；其中长波红外相机采用氧化钒非制冷红外焦平面探测器，光谱响应波段在8μm～14μm，相机分辨率为640×512。

19、进一步地，所述步骤2.1中，具体的边缘图像获取过程如下：

20、a)采用scharr边缘检测算子分别提取短波红外图像iswir与长波红外图像ilwir的边缘梯度信息：设scharrx、scharry分别为横向及纵向的一阶scharr边缘检测算子，将其与图像iswir和ilwir做卷积运算，分别得到短波红外边缘梯度图像和长波红外边缘梯度图像其中scharr边缘检测算子具体如下：

21、

22、b)通过最大类间方差otsu算法自动计算阈值，分别对梯度图像和进行二值化，得到短波红外边缘图像和长波红外边缘图像

23、进一步地，所述步骤2.2中，具体的特征点提取及描述子计算过程如下：

24、a)根据步骤2.1中得到的边缘图像和首先对图像建立dog高斯差分金字塔，并检测dog的局部极值点，以识别对于尺度和旋转不变的兴趣点，dog函数如下所示：

25、d(x,y,σ)＝[g(x,y,kσ)-g(x,y,σ)]*i0(x,y)

26、其中，σ为尺度空间因子，g(x,y,σ)是变化尺度的高斯函数，i0(x,y)表示输入图像；

27、b)将上述离散空间的局部极值点通过拟合二次函数确定特征点的位置和尺度，并筛除一些不稳定的特征点，分别得到短波边缘图像的特征点和长波边缘图像的特征点

28、c)每一个特征点都拥有位置、尺度、方向这三个信息，因而根据这三个信息对每一个特征点建立一个描述子，用一组128维向量对其进行描述，分别得到短波边缘图像描述子和长波边缘图像描述子

29、进一步地，所述步骤2.3中，图像精匹配的具体流程如下：

30、a)根据步骤2.2中得到的短波边缘图像描述子和长波边缘图像描述子从中随机抽取四个样本数据，计算单应性矩阵h，计算公式如下：

31、

32、其中，(x,y)表示待配准图像角点位置，(x′,y′)为参考图像角点位置，s为尺度参数；

33、b)计算其他匹配的描述子与h的投影误差，若小于阈值则加入内点集中；

34、c)重复上述步骤，继续更新迭代，最终得到内点最多的模型就是需要的单应性矩阵，此时内点集中就是正确匹配的特征点对，其余特征点对即为剔除的错误匹配；

35、d)根据精匹配的特征点对，计算仿射变换矩阵，实现双波段图像配准，以长波红外图像为参考图像，短波红外图像为待配准图像，则仿射变换模型可以为：

36、

37、其中(x,y)是短波红外边缘图像的坐标，(x′,y′)是长波红外边缘图像的坐标，通过三对正确特征点匹配即可确定仿射变换矩阵p：

38、

39、利用仿射变换矩阵对短波红外图像进行空间坐标变换，得到配准后的短波红外图像及长波红外图像。

40、进一步地，所述步骤3.1中，制作双波段红外图像配准数据集，具体如下：在距海岸线不同距离处分别让多名不同年龄段的人员跳入海面模拟落水场景，其中人员性别包含男女，落水时间在0～60分钟范围内，落水场景包含单人、多人、挣扎、溺水等；将同光轴的双波段红外相机搭载在无人机上，保持无人机距海面处于适合高度内，在距人员目标不同直线距离处分别采集以上场景的短波红外图像以及长波红外图像；在晴天、雨天、雾天等不同天气状况下，分别对光照变化及海水温度变化较大的时间段重复数据采集过程，构建全天候海上落水人员双波段红外数据集；通过步骤二中的双波段红外图像配准算法配准短波红外图像和长波红外图像，得到双波段红外图像配准数据集。

41、进一步地，所述步骤3.2中，双波段红外图像融合模型在步骤3.1所构建的数据集上进行训练，分别提取短波红外图像和长波红外图像的特征图，对特征图进行信息测量，再计算信息保护度用于损失函数中训练融合模型，具体流程如下：

42、a)特征提取：采用预训练的vgg-16提取配准后的短波红外图像及长波红外图像的特征图，由于不同深度的网络能提取到不同层次的特征，因而在第一、二、三层网络提取图像的浅层特征(纹理和形状细节)在第四、五层网络提取图像的深层特征(内容和空间结构信息)浅层特征与深层特征的结合可以更全面地表征源图像的信息；

43、b)信息测量：由于短波红外图像与长波红外图像成像原理不同，无法直接度量图像信息度，且海面图像结构简单，信息量少，而落水目标与海面存在比较明显的结构差异，两者的梯度信息能够突出评估特征图中的信息，计算公式如下：

44、

45、其中表示第j个卷积层的特征图，h、w、d分别表示特征图长、宽及通道数，k表示dj通道中的第k个通道的特征映射，是拉普拉斯算子；

46、c)信息保持：当落水目标与海水温差不同时，长波红外图像的信息量明显不同，而短波图像信息量基本不变，为了保留源图像信息，通过对两张图像求自适应权重ω1、ω2作为信息保存度：

47、

48、其中c为预定义的正值，gi1和gi2分别是短波红外图像和长波红外图像的信息度量，ω1及ω2是图像的自适应权重，它们的和为1；

49、d)损失函数：损失函数用于优化图像融合模型densenet，评估标准为融合图像结果与源图像之间的相似性，通过结构相似度和强度分布实现相似性约束，定义如下：

50、

51、其中θ是densenet网络的参数，是配准后的双波段红外图像数据集，聚焦于图像之间的对比度和结构的变化，约束图像之间的强度分布，α用于平衡这两个损失函数，和具体定义如下：

52、

53、

54、其中分别表示配准后短波红外图像i1、配准后长波红外图像i2与融合图像if之间的结构相似性，分别表示i1、i2与融合图像if之间的均方差误差。

55、进一步地，所述步骤4.1中，构建双波段红外图像融合数据集的过程如下：对步骤3.1中的双波段红外图像配准数据集重复步骤3.3获取融合图像；对融合图像中所有海上落水目标进行人工标注，包括目标框四个顶点坐标及目标类别id，以txt格式存储标注信息；将融合图像数据及对应标注文件按照7:3的比例划分训练集和测试集。

56、进一步地，所述步骤4.2中，相较于传统的yolov8算法，改进后的dat-yolov8算法的增加一个小目标检测层，并集成了可变形注意力机制的transformer模块以及cbam模块，具体改进如下：

57、a)增加了小目标检测层，用于处理不同检测距离下落水目标的大尺度方差，以提高模型对小目标的检测能力：为实现大范围高效率海上落水人员识别，人员目标实际检测距离远，在图像中体现为大场景、远距离、小目标的特点，因而很有必要提升模型小目标检测的能力；传统的yolov8算法有三个检测层，检测特征图大小为80×80、40×40、20×20，分别用于检测大小在8×8、16×16、32×32以上的目标，但对于分辨率更小的微小目标的检测能力不佳，因而在改进后的dat-yolov8算法增加了一个检测特征图大小为160×160的检测层，用于检测4×4分辨率的小目标；模型的backbone部分的结构不变，将neck部分80×80的特征图进行上采样得到160×160的特征图，再与backbone部分的160×160的特征图进行concat输出到检测头，构成4×4的小目标检测层；

58、b)将可变形注意力机制的transformer(dat)检测头应用于yolov8模型中的预测模块，使其可以充分捕获全局信息，在高密度场景中准确定位落水目标：已有的tph-yolov5算法将基于swin transformer的检测头代替原来的prediction heads，该算法大大提高了yolov5算法在密集场景定位目标的能力；但是swin transformer计算量大，内存消耗也大，使得检测速度降低，而dat则结合了vit和dcn，学习几组query无关的offset，将key和value移到重要区域，增强了原有的自注意力模块的灵活性和效率，并能捕获更多的信息特征；在海上落水人员检测任务中，经常出现多个落水目标聚集在一起的现象，呈现密集场景小目标检测的场景，将基于dat的检测头替代yolov8中的prediction heads，能够在保证检测效率的基础上提高密集场景检测能力；

59、c)将卷积注意力机制模块cbam集成到yolov8模型中，使其在繁杂、重复的海面纹理中提取注意区域，关注于落水目标：在海上落水人员检测任务中，主体场景为海面，海面中纹理重复、繁杂，充斥着变化不定的海波，而检测目标为人，与海面纹理存在着明显的区别，使用cbam模块可以使网络关注人员区域，剔除繁复的海面对检测的干扰，提高检测准确度；cbam模块由通道注意力机制以及空间注意力机制构成，具体计算公式如下：

60、

61、

62、其中mc(f)和ms(f)分别表示通道注意力和空间注意力，σ为sigmoid函数，w0和w1是mlp层权重，favg和fmax分别表示平均池化特征和最大池化特征，f7×7表示7 7的滤波器。

63、本发明另一方面公开了一种基于双波段红外图像融合的海上落水人员检测系统，该系统包括：

64、双波段红外图像采集模块：利用双波段红外相机同时获取短波红外图像和长波红外图像，其中双波段红外相机由同一光轴的短波红外相机以及长波红外相机组成，机相机镜头处于同一平面，基线距离为4cm～8cm；

65、双波段红外图像配准模块：采用scharr边缘检测算子分别提取短波红外图像与长波红外图像的边缘信息，得到两者的边缘图像；通过尺度不变特征转换sift算法，分别提取两幅边缘图像的多个特征点并计算对应的描述子；通过随机抽样一致ransac算法对两幅边缘图像的特征点进行精匹配，并剔除错误匹配的特征点，筛选出正确的特征点匹配对；根据两幅边缘图像的匹配特征点构建仿射变换矩阵，对短波红外图像进行空间坐标变换，实现双波段红外图像配准；

66、双波段红外图像融合模块：利用双波段红外图像采集模块和图像配准模块构建双波段红外图像配准数据集；通过无监督图像融合u2fusion算法在双波段红外图像配准数据集上进行训练，获取双波段红外图像融合模型；利用训练得到的融合模型对配准后的短波红外图像及长波红外图像进行融合，生成双波段红外融合图像。

67、海上落水人员检测模块：利用双波段红外图像融合模块处理双波段红外图像配准数据集构建双波段红外图像融合数据集；采用改进后的dat-yolov8算法在双波段红外图像融合数据集上进行训练，得到海上落水人员检测模型；利用训练得到的海上落水人员检测模型对双波段红外融合图像进行检测，得到海上落水人员检测结果。

68、本发明的有益效果如下：

69、1.基于短波红外离水辐亮度近似于0的特性，本发明融合短波红外图像以及长波红外图像，提供了更加丰富的信息，全面表征落水目标，从而解决了长波红外用于落水目标检测时的热交叉问题。

70、2.本发明通过scharr边缘检测算子提取图像的梯度信息，再结合sift、ransac算法进行图像配准，实现了不同模态的红外图像配准。

71、3.本发明利用图像梯度信息差异，根据自适应权重分配信息保护度，实现了更精准的双波段红外图像融合。

72、4.本发明提出了改进的dat-yolov8算法，在yolov8网络基础上增加了一个小目标检测层，并集成了可变形注意力机制的transformer模块及cbam模块，以处理目标的大尺度方差，在保证检测效率的同时提高了其对小目标的检测能力，解决了海上落水人员检测任务中大场景小目标检测的问题。