基于主成分分析和扩散模型的热红外本底图像生成方法

本发明涉及图像处理领域，具体涉及基于主成分分析和扩散模型的热红外本底图像生成方法。

背景技术：

1、热红外图像探测器由于制作工艺的限制，每个探测像素对于相同强度的红外辐射的响应强度不同，因此为了更好地展现场景的红外辐射分布，需要对热红外图像做去本底的操作来使每个探测像素对于相同的温度呈现一致的响应。热红外图像去本底是热红外图像处理算法的第一步，所以去本底的好坏会很大的影响后续图像处理的质量。并且随着热红外相机工作时间加长和工作环境的变化，热红外图像的本底也会发生变化，之前采集的本底图像会不再适用。

2、传统的热红外图像去本底的方法一般是：在热红外相机开机时，通过打一次挡片，采集挡片上的图像作为本底图像，后续在使用的过程中将探测器的输出逐像素减去本底图像来得到去本底之后的图像。传统的去本底方法具有很强的局限性，一方面由于噪声的影响，减去本底的图像并不干净，在图像上依旧会蒙上一层薄纱状的本底；另一方面，随着机身运作和环境的变化，热红外图像会发生温漂，此时之前采集到的本底图像就不再适用，需要频繁的打挡片来重新采集本底，在一些使用场景中，打挡片的暂停时间将会对使用者带来很大的影响。

3、基于神经网络的去本底方法可以依据热红外图像中的局部和全局特征来计算出应该减去的本底图像。通过神经网络得到的去本底图像具有更少的残留本底和噪声，并且在减掉噪声和本底的同时可以很好地保留物体的信息，不会丢失一些细节。综上所述，使用神经网络的去本底方法可以得到干净清晰的热红外图像。在构建神经网络的训练数据集时，需要使用到热红外本底图像，由于热红外本底图像会随着时间和环境发生变化，因此无法采集到所有的本底情况，这样会导致训练得到的去本底网络效果不佳。

技术实现思路

1、本发明公开了基于主成分分析和扩散模型的热红外本底图像生成方法。该方法的主要目标是通过主成分分析来提取热红外本底图像的主要成分，通过扩散模型来学习热红外本底图像的剩余成分的分布，从而生成更多样性的热红外本底图像。主成分分析主要得到的热红外本底图像中的一些固有成分；扩散模型主要学习热红外本底图像中的剩余成分的分布特性，并生成符合这种分布的剩余成分。通过主成分分析和扩散模型生成的热红外本底图像训练的去本底网络具有更好的去本底效果，在去掉热红外本底图像的同时，还能很好地保留图像内容信息。干净的图像为后续的图像处理提供了很好的基础。本发明提出的基于主成分分析和扩散模型的热红外本底图像生成方法，只需要采集少量单一的热红外本底图像，即可生成大量多样化的热红外本底图像。

2、本发明方法的具体实施步骤如下：

3、一种基于主成分分析和扩散模型的热红外本底图像生成方法，通过主成分分析和扩散模型对少量单一的热红外本底图像建模，生成大量多样的热红外本底图像。在相同的去本底网络中，通过本发明建模生成的热红外本底图像具有更好去本底的效果；所述热红外本底图像生成方法的具体步骤如下：

4、s1：热红外本底图像采集。使用热红外相机对着温度均匀的黑体采集少量的原始热红外本底图像。作为后续分析的基础。

5、s2：使用主成分分析和扩散模型对热红外本底图像建模。

6、s21：基于主成分分析法得到热红外本底图像的成分，分析各个成分的贡献度，保留主要成分及其对应的权重。

7、s22：去除热红外本底图像的主要成分，得到剩余成分。

8、s23：基于扩散模型来学习剩余成分的特征，生成多样的热红外本底图像剩余成分。具体地，扩散模型基于剩余成分特征，通过输入不同的高斯噪声矩阵，得到任意组热红外本底图像的剩余成分。

9、s3：基于主要成分和生成的剩余成分，得到多样的仿真热红外本底图像。

10、上述技术方案中，进一步地，所述步骤s1具体为：使用一台热红外相机，对准一个温度均匀的黑体，以每秒2帧的频率采集探测器输出的原始数据，充当原始热红外本底图像。

11、进一步地，用主成分分析法可以获得热红外本底图像的主要成分，使用扩散模型可以学习热红外本底图像中的剩余成分的特性，从而生成更多样化的热红外本底图像。

12、进一步地，所述步骤s21具体为：

13、将采集到的n张大小为h*w的热红外本底图像拼接成矩阵xn*(h*w)。

14、计算平均值

15、计算协方差矩阵c＝e{(x-u)(x-u)t}。

16、计算协方差矩阵c的特征值矩阵λn*n，特征向量矩阵vn*n，对特征值和特征向量进行排序。

17、计算对应的成分为pc＝xt*v，根据累计贡献值大小，只保留前k个成分的特征向量vk。

18、仅保留热红外本底图像的前k个成分的图像

19、将所述原始热红外本底图像减去所述主要成分图像，获得热红外本底图像的剩余成分，作为扩散模型的训练集，可以根据训练集的特征分布生成更符合实际的热红外本底图像剩余成分。扩散模型的前向扩散过程是一个不断加噪声的过程，对于初始的热红外本底图像的剩余成分设置一定的扩散步数，在每一步中增加一定的噪声，最终将初始数据转换为随机的高斯噪声矩阵。扩散模型的反向扩散过程是一个不断去噪的过程，将随机的高斯噪声矩阵通过扩散模型的反向扩散模块，预测出噪声并去除，经过一定的扩散步数，就可以得到清晰的热红外本底图像剩余成分。扩散模型的反向扩散模块的结构是u型网络。所述的u型网络一共包括6层结构，网络的左半部分为编码器，编码器的每一层都会进行降采样的操作，达到降低图像的空间尺寸和增加特征维度的目的。网络的右半部分为解码器，解码器的每一层都会进行升采样的操作，达到增加图像的空间尺寸和降低特征维度的目的。编码器和解码器之间存在跳跃链接。六层结构的维度分别是第一、二层网络128维，第三、四层的网络是256维，第五、六层的网络是512维。每一层设有处理模块，处理模块包括卷积模块或注意力模块，除了第五层是两个注意力模块外，其余层均是两个卷积模块。第六层的两个处理模块之间通过一个处理块相连，所述处理块依次包括一个卷积模块、一个注意力模块和一个卷积模块。

20、所述卷积模块包括一个残差结构和步长信息处理模块，残差结构包括两个子模块，每个子模块由一个组归一化层，一个silu激活函数和一个卷积核大小为3×3且步长为1的卷积构成，两个子模块之间串联；步长信息处理模块包括一个silu激活函数和一个线性层，第一个子模块的输出加上步长信息处理模块的输出作为第二个子模块的输入。

21、所述注意力模块包括注意力机制，由步长信息经过两个线性层得到键k和值v，图像信息经过一个线性层得到查询q，通过公式得到注意力权重，其中dk表示的是k的维度，softmax是软最大函数，可以将网络的输出转化为概率分布。最后得到的权重再经过一个线性层输出。

22、扩散模型的损失函数定义为：其中yi表示加入的噪声，表示的是扩散模型预测的噪声，m为图像像素总数。

23、所述步骤s3中，基于主要成分和生成的剩余成分，得到多样的热红外本底图像，具体方法为：基于步骤s21可以获得热红外本底图像的主要成分和对应的权重，通过对权重范围的随机采样，可以得到任意组热红外本底图像的主要成分；基于步骤s23可以得到任意组的热红外本底图像的剩余成分。二者相加就可以得到多样的热红外本底图像。后续可用于构造去本底网络的训练数据。

24、去本底网络的数据集构造是基于可见光的高质量的数据集，通过仿真生成高质量的伪热红外图像，再结合本发明方法生成的本底得到去本底网络的训练数据对。具体操作方式是：首先将高质量的可见光图像转换成灰度图像，然后将灰度图像随机线性拉伸到14比特的范围，在此基础上加上本发明通过主成分分析和扩散模型生成的热红外本底图像，得到含本底的热红外图像和干净的热红外图像的训练数据对。然后使用目前先进的去噪网络来实现去本底的任务。

25、实验数据表明，使用本发明方法生成的热红外本底图像构造的热红外图像训练得到的神经网络，在性能上显著优于使用直接采集到的热红外本底图像训练的网络。具体而言，使用本发明方法生成的热红外本底图像构造的热红外图像进行训练的网络，能够实现更高的峰值信噪比，这表明该网络在还原图像细节方面更为精准；此外，该网络在处理真实热红外图像时，能够生成更干净的图像内容，减少本底残留信息。这种优势不仅提升了图像的质量，还增强了网络在实际应用中的鲁棒性和可靠性。因此，本发明方法在热红外图像处理领域展示出了显著的潜力和优势。