一种基于IRCoGAN模型的夜间红外图像生成方法与系统

本发明涉及红外图像生成，尤其是一种基于ircogan模型的夜间红外图像生成方法与系统。

背景技术：

1、红外成像是借助于红外辐射获得景物的可见平面图像的一门技术，基本原理是将景物或景物的不同部位反射或辐射的红外能量的分布状态加以记录，并用特殊方式处理转化为二维可见图像。

2、如今，利用可见光图像得到对应红外图像为红外图像的生成提供了一种新思路，此方法能够有效解决红外图像在红外制导、红外对抗和红外目标识别任务中数据缺乏的问题。常规红外图像中是通过红外热像仪针对目标场景进行拍摄得到的，然而在对于一些特殊环境下，红外热像仪所能获得的图像数据量相对不足；同时，红外热像仪应与其他仪器相比，价格仍然很昂贵，这些都限制了红外图像数据的获得，影响了红外图像的应用。

3、基于条件生成对抗网络的红外图像生成方法，可在一定程度上生成表征红外图像的特征，但是传统的生成方法是以irgan算法将白天可见光图像与夜间红外图像进行严格配准，尽管无人机拍摄的物体相同，但是由于无人机拍摄时的姿态、拍摄角度、方位等不同，导致两者的完全配准难度系数将大大增加，同时，irgan算法的运算量大且对数据集的要求极高。因此，迫切需要探索一种不需要完全配准的夜间红外图像生成方法。

技术实现思路

1、针对上述现有技术中存在的缺陷，本发明的目的在于提供一种不需要完全配准即可生成夜间红外图像的方法与系统，将可见光图像进行裁剪，使裁剪后的可见光图像与最终生成的红外图像包含相同目标而进行伪配对的过程，以解决背景技术中需要完全配准的难度大和系统运算量大等问题。

2、为了实现上述技术目的，本发明采用的技术方案如下：

3、本发明的公开的第一方面的技术方案为：一种基于ircogan模型的夜间红外图像生成方法，包括以下步骤：

4、s1：分别获取可见光图像和红外图像并预处理，构建可见光-红外图像数据集；

5、s2：基于生成对抗网络构建ircogan模型，将步骤s1预处理后的数据集输入ircogan模型进行训练和验证，得到优化后的ircogan模型；

6、s3：通过优化后的ircogan模型将待处理的可见光图像转换为对应的红外图像。

7、作为上述方案的进一步优化方案，步骤s1中，构建可见光-红外图像数据集的具体步骤如下：

8、s11：采集同一天不同时段的可见光图像和红外图像；

9、s12：通过裁剪构建白天可见光图像和夜间红外图像数据集。

10、作为上述方案的进一步优化方案，步骤s2中，构建ircogan模型的步骤具体如下：

11、s21：约束生成对抗网络中编码器与解码器之间的多尺度成对特征的语义一致性；

12、s22：基于语义一致性约束的多尺度成对特征，利用多尺度判别器注意力引导负采样方法优化负样本采样过程；

13、s23：利用大型分割模型提供可见光图像的语义特征，将可见光图像的语义特征和编码特征进行解码得到红外图像，得到ircogan模型。

14、上述方案进一步优选实施方式为：步骤s21中，约束多尺度成对特征的语义一致性具体包括：

15、s211：生成多尺度的编码解码特征对；

16、s212：通过编码器与解码器对多尺度的编码解码特征对的语义一致性进行约束；

17、s213：构造对比学习损失函数，对编码器与解码器的补丁级多尺度的编码解码特征对的语义一致性进行约束。

18、上述方案进一步优选实施方式为：步骤s22中，判别器注意力引导负采样策略具体为：

19、s221：假设对k个关键点进行采样，对于任意一对相同的尺度特征，将判别器的输出插值到与编码部分和解码部分相同的分辨率，编码部分的每个关键点都得到一个对应的注意力分数；

20、s222：从编码部分均匀采样kk(k＞1)个负样本；

21、s223：将判别器提供的不同尺度的注意力组成总的注意力分数；

22、s224：根据对应的注意力分数升序排序；

23、s225：选择前βk个负样本和最后(1-β)k个负样本。

24、上述方案进一步优选实施方式为：步骤s23中，基于大型分割模型提供可见光图像的语义特征具体包括：

25、s231：基于大型分割模型得到可见光图像的语义特征；

26、s232：将可见光图像的语义特征与编码特征在通道方向上拼接；

27、s233：对拼接后的语义特征与编码特征进行解码。

28、作为上述方案的进一步优化方案，步骤s2中，得到优化后的ircogan模型的具体过程为：

29、a：将预处理后的数据集划分为训练集和验证集，向ircogan模型中输入训练集，对可见光-红外图像进行特征提取，得到生成红外特征图像；

30、b：对生成红外特征图像进行判别，依据判别结果和生成红外特征图像，构造生成红外特征图像损失函数；

31、c：优化生成红外特征图像损失函数，并利用验证集对ircogan模型进行验证，得到优化后的ircogan模型。

32、上述方案进一步优选实施方式为：步骤b中，生成红外特征图像损失函数包括对抗损失函数和恒等映射损失函数分别表示如下：

33、

34、其中，表示条件生成对抗网络的损失，e(·)表示期望值，下标x～x表示x取自可见光图像的数据，下标y～y表示y取自x对应的真实红外图像的数据；y表示标签信息(真实红外图像)，d(y)表示判别器判断真实数据是否真实的概率；g(x)表示生成器根据源域图像x(可见光图像)生成的目标域图像(红外图像)，d(g(x))表示判别器判断生成数据g(x)是否真实的概率。

35、

36、其中，表示恒等映射损失，g(y)表示生成器根据标签信息y(红外图像)生成的目标域图像(红外图像)；

37、生成红外特征图像损失函数的表达式为：

38、

39、其中，表示总的损失，λ和μ分别代表和的权重，λ为2，μ为10。

40、本发明的公开的第二方面的技术方案为：一种基于ircogan模型的夜间红外图像生成系统，其包括：

41、模型构建模块，用于构建优化后的ircogan模型，并将其部署到后台；

42、图像生成模块，用于调用部署到后台的优化后的ircogan模型，并将实时采集的可见光图像转换为红外图像。

43、基于上述方案，进一步地，模型建立模块包括：

44、数据获取子模块，用于获取可见光-红外图像数据集；

45、预处理子模块，用于对可见光-红外图像数据集进行预处理，并划分为训练集和测试集；

46、ircogan模型构建子模块，用于建立ircogan模型，具体包括：

47、多尺度特征约束单元，用于约束编码器与解码器的多尺度成对特征的语义一致性；

48、注意力引导负采样单元，用于对判别器的负采样过程进行引导和优化；

49、分割大模型语义特征单元，用于提取可见光图像的语义特征；

50、优化子模块，利用训练集和验证集对建立的ircogan模型进行训练和验证，得到优化后的ircogan模型。

51、本发明的技术方案与现有技术相比，有益效果如下：

52、1、本发明提出的ircogan模型明确约束了生成器的编码器与解码器之间的多尺度成对特征的语义一致性，并在此基础上设计了有效的判别器注意力引导的负采样策略，以注意力更具辨别力的负样本进行采样，以达到优化采样过程的目的，同时利用sam添加语义信息更有助于红外图像的仿真，实现应用此方法进行伪配对下的夜间红外图像生成的目的。

53、2、本发明基于ircogan模型采取的夜间红外图像生成方法相比于常见的无监督图像转换方法，只需要一对生成器和判别器，极大地减轻了计算负担，同时加快了图像处理速度。

54、3、相比于传统的irgan算法模型，本发明提出的ircogan模型对图像数据的要求更低，只需要图像中包含相同目标即可实现图像配对，克服了传统方式需要将可见光图像与红外图像完全配准难度系数大的缺陷，极大地扩展了红外图像生成方法的应用范围。