一种多模态多尺度小目标分割网络训练推理方法及系统

本发明属于图像处理及目标检测，具体涉及一种多模态多尺度小目标分割网络训练推理方法及系统。

背景技术：

1、随着深度学习的发展，在公开红外小目标数据集的支持下，基于数据驱动的红外小目标分割网络取得了较好的检测效果，但受限于红外成像原理的特点，仅利用单帧红外小目标检测技术很难有效分辨出38万千米外的月亮和几十千米外的飞机或几百米外的小无人机，目标检测精度不够高。

技术实现思路

1、针对仅利用单帧红外小目标检测技术如何有效分辨出38万千米外的月亮和几十千米外的飞机或几百米外的小无人机的问题，本发明提出了一种多模态多尺度小目标分割网络训练推理方法及系统，利用该方法可以降低虚假目标(月亮)的干扰，提高目标检测的精度以及算法性能评估的准确性。

2、本发明采用的技术方案如下：

3、一种多模态多尺度小目标分割网络训练推理方法，包括：

4、步骤1.构建红外多尺度小目标训练数据集并对分割网络训练，将含有小目标的红外图像及可见光图像同时送入训练好的分割网络进行推理，得到对应的预测掩码图；

5、步骤2.对红外图像的预测掩码图和可见光图像的预测掩码图做膨胀处理得到膨胀后的掩码图；

6、步骤3.取膨胀后的红外和可见光掩码图的并集作为新的掩码图；

7、步骤4.在新的掩码图上通过八邻域聚类算法获取多个目标的像素大小，并舍弃像素面积最大的目标作为最终的目标掩码图；

8、步骤5.在最终的目标掩码图上进一步通过八邻域聚类算法获取所有目标数量、不同目标的锚框信息、长宽比、中心坐标和像素大小，并映射回原始红外图像。

9、进一步地，所述步骤1具体包括以下步骤：

10、步骤1.1：将红外图像和可见光图像配准，配准点误差在5个像素以内；

11、步骤1.2：对红外多尺度小目标训练数据集预处理，训练分割网络；

12、步骤1.3：将配准的红外图像和可见光图像同时送入训练好的分割网络模型中进行推理得到红外图像的预测掩码图和可见光图像的预测掩码图，为：

13、

14、

15、式中，和分别表示将可见光图像和红外图像送入训练好的网络模型进行预测后的显著图；sigmoid(·)表示将显著图归一化为[0,1]之间的概率图；th表示置信度阈值；mvis和mir分别表示可见光图像和红外图像的预测掩码图。

16、进一步地，对红外多尺度小目标训练数据集预处理具体包括：

17、步骤1.2.1：对单帧红外小目标数据集进行融合，构建一个新数据集，含盖多场景下的不同尺度不同类型目标；

18、步骤1.2.2：从步骤1.2.1构建的新数据集中随机抽取50％的数据样本进行图像的灰度反转；

19、步骤1.2.3：在步骤1.2.2基础上，对数据集进行翻转、旋转、亮度调整和对比度调整；

20、步骤1.2.4：将步骤1.2.3处理后的数据集中的每一张图像进行通道转换，即将rgb3通道转为单通道灰度图像；

21、步骤1.2.5：将步骤1.2.4处理后的数据集中不同尺度的图像通过双线性插值的方法进行统一尺度的调整，调整的尺寸与深度学习分割网络的输入要求保持一致；

22、步骤1.2.6：将步骤1.2.5处理后的数据集中的每一张图像进行标准化处理，将图像的像素映射到[0,1]范围内。

23、进一步地，所述置信度阈值th取0.5。

24、进一步地，所述分割网络训练时，从数据集中随机抽取50％的数据样本进行图像的灰度反转。

25、进一步地，所述步骤2中膨胀后的掩码图为：

26、

27、

28、式中，表示膨胀操作；b为结构元素，采用圆形模板，半径设置为3；和分别表示为经过膨胀操作后的可见光图像和红外图像的预测掩码图。

29、进一步地，所述步骤3中新的掩码图为：

30、

31、进一步地，所述步骤4在新的掩码图上通过八邻域聚类算法获取多个目标的像素大小，并舍弃像素面积最大的目标作为最终的目标掩码图，具体包括：

32、步骤4.1：通过八邻域聚类算法获取多个目标的像素大小，为：

33、

34、式中，表示第i号目标八邻域聚类的像素集合，和表示在红外小目标掩码图m上区域内的任意2个像素；

35、根据式(6)，得出不同目标i的像素大小pi：

36、

37、步骤4.2：舍弃像素面积最大的目标作为最终的目标掩码图，为：

38、m'ir+vis＝mir+vis(max(pi)＝0)     (8)。

39、进一步地，所述步骤5获取的所有目标数量、不同目标的锚框信息、长宽比、中心坐标为：

40、

41、

42、

43、

44、式中，n表示所有目标数量集合，bi表示不同目标i的锚框信息，ri表示长宽比，ci表示中心坐标，表示经过八邻域聚类后，像素灰度值为255的聚类数量，{·}表示聚类数量的集合；表示第i号目标锚框的左上极值点坐标，表示第i号目标锚框的右下极值点坐标。

45、一种实现所述联合检测方法的多模态多尺度小目标分割网络训练推理系统，包括数据获取单元、网络训练单元、深度分割网络推理预测单元、掩码图处理单元和目标信息提取单元，其中：

46、所述数据获取单元用于获取配准后的红外图像和可见光图像；

47、所述网络训练单元用于构建红外多尺度小目标训练数据集并对分割网络训练；

48、所述深度分割网络推理预测单元，通过分割网络得到红外图像和可见光图像对应的预测掩码图；

49、所述掩码图处理单元用于对红外图像的预测掩码图和可见光图像的预测掩码图做膨胀处理，取膨胀后的红外和可见光掩码图的并集作为新的掩码图，在新的掩码图上通过八邻域聚类算法获取多个目标的像素大小，并舍弃像素面积最大的目标作为最终的目标掩码图；

50、所述目标信息提取单元用于在最终的目标掩码图上进一步通过八邻域聚类算法获取所有目标数量、不同目标的锚框信息、长宽比、中心坐标和像素大小，并映射回原始红外图像。

51、与现有技术相比，本发明的有益效果在于：本发明从可见光和红外2种模态场景下的单帧图像或视频流信息中分别分割出目标的掩码形状，对红外图像的预测掩码图和可见光图像的预测掩码图做膨胀处理，解决配准误差导致目标检测失败的问题；有效分割出目标且排除月亮等虚假目标的干扰，明通过“红外图像”和“可见光图像”联合推理检测有效分辨出38万千米外的月亮和几十千米外的飞机或几百米外的小无人机，提高了目标检测的精度以及算法性能评估的准确性。

技术特征：

1.一种多模态多尺度小目标分割网络训练推理方法，其特征在于：包括：

2.根据权利要求1所述的一种多模态多尺度小目标分割网络训练推理方法，其特征在于：所述步骤1具体包括以下步骤：

3.根据权利要求2所述的一种多模态多尺度小目标分割网络训练推理方法，其特征在于：对红外多尺度小目标训练数据集预处理具体包括：

4.根据权利要求2所述的一种多模态多尺度小目标分割网络训练推理方法，其特征在于：所述置信度阈值th取0.5。

5.根据权利要求2所述的一种多模态多尺度小目标分割网络训练推理方法，其特征在于：所述分割网络训练时，从数据集中随机抽取50％的数据样本进行图像的灰度反转。

6.根据权利要求2所述的一种多模态多尺度小目标分割网络训练推理方法，其特征在于：所述步骤2中膨胀后的掩码图为：

7.根据权利要求6所述的一种多模态多尺度小目标分割网络训练推理方法，其特征在于：所述步骤3中新的掩码图为：

8.根据权利要求7所述的一种多模态多尺度小目标分割网络训练推理方法，其特征在于：所述步骤4在新的掩码图上通过八邻域聚类算法获取多个目标的像素大小，并舍弃像素面积最大的目标作为最终的目标掩码图，具体包括：

9.根据权利要求8所述的一种多模态多尺度小目标分割网络训练推理方法，其特征在于：所述步骤5获取的所有目标数量、不同目标的锚框信息、长宽比、中心坐标为：

10.一种实现权利要求1-9任一所述联合检测方法的多模态多尺度小目标分割网络训练推理系统，其特征在于：包括数据获取单元、网络训练单元、深度分割网络推理预测单元、掩码图处理单元和目标信息提取单元，其中：

技术总结本发明涉及一种多模态多尺度小目标分割网络训练推理方法及系统，该方法包括：将含有小目标的红外图像及可见光图像送入分割网络进行推理，并得到预测掩码图；同时对红外图像和可见光图像的预测掩码图做膨胀处理得到膨胀后的掩码图；取膨胀后红外和可见光掩码图的并集作为新的掩码图；在新的掩码图上通过八邻域聚类算法获取多个目标的像素大小，并舍弃像素面积最大的目标作为最终的目标掩码图；步骤5.在最终的目标掩码图上进一步通过八邻域聚类算法获取所有目标数量、不同目标的锚框信息、长宽比、中心坐标和像素大小，并映射回原始红外图像。本发明旨在通过“红外图像”和“可见光图像”联合检测方法有效分辨出38万千米外的月亮和几十千米外的飞机或几百米外的小无人机，并对检测结果进行有效评估。技术研发人员：寇人可,付强,李鸣,李召瑞,杨青,薛东方受保护的技术使用者：中国人民解放军陆军工程大学技术研发日：技术公布日：2024/11/14