一种基于密集残差和引导注意力的红外图像生成的方法与流程

本发明涉及图像生成，尤其涉及一种基于密集残差和引导注意力的红外图像生成的方法。

背景技术：

1、红外图像生成是一种通过学习可见光和真实红外图像之间模态，最后生成逼真的假红外图像的一种技术。目前，受环境因素的影响，红外图像的采集十分受限，导致实际可用的红外图像数据集数量有限，红外图像生成可以解决红外样本数据集缺失问题。红外波能够穿透一些介质，如雾、烟等，相比之下，可见光波的透过能力较差。这些客观存在的问题的存在加剧了实现红外图像生成的难度。尽管在红外图像生成方面做了很多研究的工作，但是由于现有算法效果不太理想，生成的红外图像质量一般。

2、中国专利公开号为“cn114581560a”，名称为“基于改进的生成对抗网络的红外图像生成的方法”，该方法在编码器的下采样阶段采用了以卷积块和cbam注意力模块为基本单元的级联设计模式对可见光图像进行编码，在损失函数上使用了融合边缘损失和图像亮度损失，最后使用训练好的生成器网络输出红外图像样本。该方法特征提取能力不足，得到的红外图像细节信息不足，边缘纹理保持较差，生成红外图像质量较差，同时不符合人眼视觉效果，同时实现过程复杂且效率低下。

技术实现思路

1、本发明实施例的主要目的在于提出一种基于密集残差和引导注意力的红外图像生成的方法，旨在设计一种基于密集残差和引导注意力的红外图像生成的方法。

2、本发明解决上述技术问题的技术方案是，提供一种基于密集残差和引导注意力的红外图像生成的方法，包括以下步骤：

3、获取图像数据，并对图像数据进行预处理，将红外图像数据分为红外图像第一数据集和红外图像第二数据集；

4、构建包括生成器结构和判别器结构的网络模型；根据红外图像数据对网络模型进行预训练；

5、选择最小化损失函数；

6、将红外图像第一数据输入到网络模型中进行训练；利用红外图像第二数据集对网络模型进行再次训练和微调。

7、进一步地，所述获取图像数据，并对图像数据进行预处理，将红外图像数据分为红外图像第一数据集和红外图像第二数据集的步骤包括：

8、对图像数据进行几何校正、数据标准化和图像增强处理。

9、进一步地，所述构建包括生成器结构和判别器结构的网络模型；根据红外图像数据对生成网络模型进行预训练的步骤包括：

10、采用密集残差模块于对图像进行多尺度特征提取；

11、采用m池化进行下采样提取图片深层次的语义信息；

12、采用多分支注意力引导块使网络自适应的逐级关注特征图的重要信息；

13、采用上采样组恢复特征图大小。

14、进一步地，所述采用密集残差模块于对图像进行多尺度特征提取的步骤中，所述密集残差模块包括卷积块一、卷积块二、卷积块三、卷积块四、卷积块五、卷积块六、卷积块七、卷积块八、卷积块九、卷积块十；其中，卷积块一、卷积块二、卷积块三、卷积块六、卷积块九和卷积块十的卷积核大小为1×1，步长为1；卷积块四、卷积块五、卷积块七和卷积块八的卷积核大小为3×3，步长为1，填充为1。

15、进一步地，所述采用多分支注意力引导块使网络自适应的逐级关注特征图的重要信息的步骤中，

16、所述多分支注意力引导块包括：卷积块十一、卷积块十二、卷积块十三、卷积块十四、卷积块十五、卷积块十六、卷积块十七、卷积块十八、卷积块十九、卷积块二十；

17、其中，卷积块十一和卷积块二十的卷积核大小为1×1，步长为1，卷积层使用归一化和l型激活函数；卷积块十二、卷积块十四、卷积块十六、卷积块十八先进行步长为1的反射填充，再通过卷积核大小为3*3、步长为1、填充为0的卷积把特征图通道数降为1，得到空间注意力图；卷积层使用归一化和l型激活函数；卷积块十三、卷积块十五、卷积块十七和卷积块十九的卷积核大小为3×3，步长为1，填充为1；卷积层使用归一化和l型激活函数。

18、进一步地，所述获取红外图像数据，并对图像数据进行预处理，将红外图像数据分为红外图像第一数据集和红外图像第二数据集的步骤包括：

19、将原始数据集缩放至256×256大小；

20、将可见光图像与红外图像进行图像拼接，拼接后图像大小为256×512。

21、进一步地，所述选择最小化损失函数的步骤包括：

22、采用对抗损失函数、l1损失函数和感知损失函数约束生成图像；

23、其中，生成对抗损失函数公式为：

24、l(g,d)＝ev,i[logd(v,i)]+ev[log(1-d(v,g(v)))]；

25、l1损失函数公式为：

26、ll1(g)＝ev,i[||i-g(v)||1]；

27、感知损失函数公式为：

28、

29、与现有技术相比，本发明公开的技术方案具备以下有益效果：

30、1.本发明通过生成对抗网络的方法，利用生成器和判别器之间的博弈，对可见光图像进行深层特征提取，通过可见光图像生成红外图像，提高生成图像的真实度，使生成的红外图像更符合人眼视觉特性；

31、2.本发明通过应用密集残差模块一、密集残差模块二、密集残差模块三、密集残差模块四、密集残差模块五，有助于网络学习到更加丰富和抽象的特征表示，采用密集连接和残差连接减少了特征图的信息损失，有利于避免深层网络训练过程中出现的梯度消失或梯度爆炸问题；

32、3.本发明通过应用多分支注意力引导块一、多分支注意力引导块二、多分支注意力引导块三、多分支注意力引导块四，使网络自适应的逐级关注特征图的重要信息，提高了生成器网络特征提取能力，尤其是提高细节恢复能力；

33、4.本发明通过提出了一种由对抗损失函数、l1损失函数和感知损失函数组成的复合损失函数，从高频信息和视觉感知两个方面优化生成红外图像的质量，使生成的红外图像更加的具有真实性。

技术特征：

1.一种基于密集残差和引导注意力的红外图像生成的方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于密集残差和引导注意力的红外图像生成的方法，其特征在于，所述获取图像数据，并对图像数据进行预处理，将红外图像数据分为红外图像第一数据集和红外图像第二数据集的步骤包括：

3.根据权利要求1所述的基于密集残差和引导注意力的红外图像生成的方法，其特征在于，所述构建包括生成器结构和判别器结构的网络模型；根据红外图像数据对生成网络模型进行预训练的步骤包括：

4.根据权利要求3所述的基于密集残差和引导注意力的红外图像生成的方法，其特征在于，所述采用密集残差模块于对图像进行多尺度特征提取的步骤中，

5.根据权利要求3所述的基于密集残差和引导注意力的红外图像生成的方法，其特征在于，所述采用多分支注意力引导块使网络自适应的逐级关注特征图的重要信息的步骤中，

6.根据权利要求1所述的基于密集残差和引导注意力的红外图像生成的方法，其特征在于，所述获取红外图像数据，并对图像数据进行预处理，将红外图像数据分为红外图像第一数据集和红外图像第二数据集的步骤包括：

7.根据权利要求1所述的基于密集残差和引导注意力的红外图像生成的方法，其特征在于，所述选择最小化损失函数的步骤包括：

技术总结本发明公开一种基于密集残差和引导注意力的红外图像生成的方法，包括以下步骤获取图像数据，并对图像数据进行预处理，将红外图像数据分为红外图像第一数据集和红外图像第二数据集；构建包括生成器结构和判别器结构的网络模型；根据红外图像数据对网络模型进行预训练；选择最小化损失函数；将红外图像第一数据输入到网络模型中进行训练；利用红外图像第二数据集对网络模型进行再次训练和微调。本发明的技术方案通过生成对抗网络的方式，利用生成器和判别器之间的博弈，对可见光图像进行深层特征提取，通过可见光图像生成红外图像，提高生成图像的真实度，使生成的红外图像更符合人眼视觉特性；该方法比现有方法拥有更高的峰值信噪比和结构相似性。技术研发人员：于国栋,王春阳,张佳鑫,徐鹏宇,冯江海,李忠琦,刘晓辰,张月,冯吉花,张黛受保护的技术使用者：中国人民解放军63869部队技术研发日：技术公布日：2024/8/20