一种基于生成对抗网络的红外波段拓展方法与流程

1.本发明属于图像处理技术领域，具体涉及一种基于生成对抗网络的红外波段拓展方法。


背景技术：

2.红外图像仿真技术是一个重要的研究课题，有着广泛的应用价值，而目标红外图像获取又是其中的重要环节。
3.相关技术中，目标红外图像的获取主要有两种手段：一种是实测，另外一种则是借助于计算机的红外图像仿真技术。前者的优势在于可以得到目标在真实环境下的测量结果，可信度较高；但是，由于某些原因，热像仪往往只能拍摄中波波段的红外图像、难以获取多波段的目标红外图像，这就与实际应用产生了很大的矛盾。
4.此外，在红外图像的仿真过程中，需要建立一个能够反映目标真实红外辐射特性的物理模型。通常采用的方法是将目标用许多三角形面元来表示，并利用热力学第一定律建立热平衡方程，计算出整个目标的红外辐射场，进而得到目标红外图像。该方法以理论为依据，具有普适性，但其计算结果的精确程度严重依赖于所采用的红外辐射模型，计算结果的精确程度与计算量成为难以解决的矛盾。


技术实现要素：

5.为了解决现有技术中存在的上述问题，本发明提供了一种基于生成对抗网络的红外波段拓展方法。本发明要解决的技术问题通过以下技术方案实现：
6.本发明提供一种基于生成对抗网络的红外波段拓展方法，包括：
7.获取第一波段的待处理图像，所述待处理图像为红外图像；
8.将所述待处理图像输入红外波段拓展模型，以使所述红外波段拓展模型确定所述待处理图像在第二波段下各像素点的本征处辐射值，并在根据所述第二波段下各像素点的本征处辐射值确定各像素点的灰度值之后，生成合成图像；
9.其中，所述红外波段拓展模型为预先训练好的生成对抗网络，所述合成图像为所述待处理图像在第二波段下的灰度图像。
10.在本发明的一个实施例中，所述红外波段拓展模型包括预先训练好的生成器网络和预先训练好的判别器网络；
11.所述红外波段拓展模型采用如下步骤训练得到：
12.获取训练样本，每个训练样本包括第一波段的第一样本图像、以及第一样本图像对应的第二波段的第二样本图像；
13.输入所述训练样本至待训练生成对抗网络，以使待训练生成器网络确定所述第一样本图像中各个像素点在第二波段下的第一辐射值，并使所述待训练判别器网络根据第二样本图像以及所述第一辐射值，计算第二样本图像中各个像素点的真实辐射值与所述第一辐射值之间的第一差异；
14.当所述第一差异满足预设条件时，固定所述待训练生成器网络的当前参数，使所述待训练生成器网络利用自身的当前参数确定所述第一样本图像中各个像素点在第二波段下的第二辐射值，并使所述待训练判别器网络计算第二样本图像中各个像素点的真实辐射值与所述第二辐射值之间的第二差异、以及第一损失函数的函数值，进一步根据所述第一损失函数的函数值调整所述待训练生成器网络的当前参数；
15.当所述第二差异满足预设条件时，得到预先训练好的生成器网络；
16.固定所述待训练判别器网络的参数，使所述预先训练好的生成器网络利用自身参数确定所述第一样本图像中各个像素点在第二波段下的第三辐射值，并使所述待训练判别器网络计算第二样本图像中各个像素点的真实辐射值与所述第三辐射值之间的第三差异、以及第二损失函数的函数值，进一步根据所述第二损失函数的函数值调整所述待训练生成器网络的当前参数；
17.当所述第三差异满足预设条件时，得到预先训练好的生成对抗网络。
18.在本发明的一个实施例中，所述计算第二样本图像中各个像素点的真实辐射值与所述第一辐射值之间的第一差异的步骤，包括：
19.计算第一样本图像中各个像素点在第二波段下的第一辐射值与第二样本图像中各个像素点的真实辐射值的差值、以及所述差值均值的标准差；
20.所述预设条件为：所述差值与差值均值的差小于所述差值均值的标准差的3倍。
21.在本发明的一个实施例中，所述第一损失函数为：
[0022][0023]
其中，lg表示第一损失函数，n表示第二样本图像中的像素点数量，xi表示第一样本图像中第i个像素点在第二波段下的第二辐射值。
[0024]
在本发明的一个实施例中，所述第二损失函数为：
[0025][0026]
其中，ld表示第二损失函数。
[0027]
在本发明的一个实施例中，所述将所述待处理图像输入红外波段拓展模型，以使所述红外波段拓展模型确定所述待处理图像在第二波段下各像素点的本征处辐射值，并在根据所述第二波段下各像素点的本征处辐射值确定各像素点的灰度值之后，生成合成图像的步骤，包括：
[0028]
获取所述待处理图像中每个像素点本征处的第二辐射值；
[0029]
根据第二辐射值，确定所述待处理图像中每个像素点的温度值；
[0030]
根据所述温度值，确定所述待处理图像在第二波段下每个像素点本征处的第三辐射值；
[0031]
根据所述第三辐射值，获得所述待处理图像在第二波段下的灰度图像。
[0032]
在本发明的一个实施例中，按照如下公式确定所述待处理图像中每个像素点的温度值：
[0033][0034]
式中，λ1～λ2表示第一波段，w表示待处理图像中每个像素点本征处的第二辐射值，λ表示每个像素点处的波长，t表示待处理图像中每个像素点的温度值，c1、c2为普朗克常数，其中，c1＝3.7418
×
108w
·
m-2
·
μm4、 c2＝1.4388
×
104μm
·
k。
[0035]
在本发明的一个实施例中，按照如下公式确定所述待处理图像在第二波段下每个像素点本征处的第三辐射值：
[0036][0037]
式中，m
λ
表示所述待处理图像在第二波段下每个像素点本征处的第三辐射值。
[0038]
在本发明的一个实施例中，所述根据所述第三辐射值，获得所述待处理图像在第二波段下的灰度图像的步骤，包括：
[0039]
根据待处理图像在第二波段下每个像素点本征处的第三辐射值，按照如下公式确定每个像素点在第二波段下的灰度值：
[0040][0041]
式中，m
max
表示待处理图像中各像素点第三辐射值中的最大值，m
min
表示待处理图像中各像素点第三辐射值中的最小值，g为计算得到的待处理图像中每个像素点的灰度值；
[0042]
根据像素点在第二波段下的灰度值，生成所述待处理图像在第二波段下的灰度图像。
[0043]
在本发明的一个实施例中，所述第一波段为3～5μm、所述第二波段为 8～12μm；
[0044]
或者，所述第一波段为8～12μm、所述第二波段为3～5μm。
[0045]
与现有技术相比，本发明的有益效果在于：
[0046]
本发明提供一种基于生成对抗网络的红外波段拓展方法，包括：获取第一波段的待处理图像，待处理图像为红外图像；将待处理图像输入红外波段拓展模型，以使红外波段拓展模型确定待处理图像在第二波段下各像素点的本征处辐射值，并在根据第二波段下各像素点的本征处辐射值确定各像素点的灰度值之后，生成合成图像。本发明中红外波段拓展模型为预先训练好的生成对抗网络，通过生成对抗网络建立第一波段与拓展后的第二波段之间的映射关系，进而可以将第一波段下的待处理图像由中波拓展至长波、或者由长波拓展至中波，具有较强的实用性。
[0047]
以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
[0048]
图1是本发明实施例提供的基于生成对抗网络的红外波段拓展方法的一种流程示意图；
[0049]
图2是本发明实施例提供的基于生成对抗网络的红外波段拓展方法的另一种流程示意图；
[0050]
图3是本发明实施例提供的基于生成对抗网络的红外波段拓展方法的另一种流程示意图；
[0051]
图4是本发明实施例提供的电子设备的结构示意图。
具体实施方式
[0052]
下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。
[0053]
图1是本发明实施例提供的基于生成对抗网络的红外波段拓展方法的一种流程示意图。如图1所示，本发明实施例提供了一种基于生成对抗网络的红外波段拓展方法，包括：
[0054]
s1、获取第一波段的待处理图像，待处理图像为红外图像；
[0055]
s2、将待处理图像输入红外波段拓展模型，以使红外波段拓展模型确定待处理图像在第二波段下各像素点的本征处辐射值，并在根据第二波段下各像素点的本征处辐射值确定各像素点的灰度值之后，生成合成图像；
[0056]
其中，红外波段拓展模型为预先训练好的生成对抗网络，合成图像为待处理图像在第二波段下的灰度图像。
[0057]
本实施例中，待处理图像为第一波段的红外图像，将其输入至红外波段拓展模型后，红外波段拓展模型可以根据待处理图像在第一波段下各像素点的本征处辐射值，推算出第二波段下各像素点的本征处辐射值，进而再将第二波段下各像素点的本征处辐射值转换为灰度值，最终生成合成图像。
[0058]
示例性地，第一波段为3～5μm、第二波段为8～12μm，或者第一波段为 8～12μm、第二波段为3～5μm；也就是说，上述红外波段拓展方法可以是将待处理图像从中波拓展至长波、也可以是由长波拓展至中波。
[0059]
图2是本发明实施例提供的基于生成对抗网络的红外波段拓展方法的另一种流程示意图。请参见图2，上述步骤s2中，将待处理图像输入红外波段拓展模型，以使红外波段拓展模型确定待处理图像在第二波段下各像素点的本征处辐射值，并在根据第二波段下各像素点的本征处辐射值确定各像素点的灰度值之后，生成合成图像的步骤，包括：
[0060]
s201、获取待处理图像中每个像素点本征处的第二辐射值；
[0061]
s201、根据第二辐射值，确定待处理图像中每个像素点的温度值；
[0062]
s203、根据温度值，确定待处理图像在第二波段下每个像素点本征处的第三辐射值；
[0063]
s204、根据第三辐射值，获得待处理图像在第二波段下的灰度图像。
[0064]
具体而言，将待处理图像输入至红外波段拓展模型后，红外波段拓展模型首先获取待处理图像中每个像素点本征处的第二辐射值，并按照如下公式确定待处理图像中每个像素点的温度值：
[0065][0066]
式中，λ1～λ2表示第一波段，w表示待处理图像中每个像素点本征处的第二辐射值，λ表示每个像素点处的波长，t表示待处理图像中每个像素点的温度值，c1、c2为普朗克常数，其中，c1＝3.7418
×
108w
·
m-2
·
μm4、 c2＝1.4388
×
104μm
·
k。
[0067]
步骤s203中，根据每个像素点的温度值，确定待处理图像在第二波段下每个像素点本征处的第三辐射值：
[0068][0069]
式中，m
λ
表示待处理图像在第二波段下每个像素点本征处的第三辐射值，从而可每个像素点本征处的第三辐射值，按照如下公式确定每个像素点在第二波段下的灰度值：
[0070][0071]
式中，m
max
表示待处理图像中各像素点第三辐射值中的最大值，m
min
表示待处理图像中各像素点第三辐射值中的最小值，g为计算得到的待处理图像中每个像素点的灰度值；
[0072]
进一步地，根据像素点在第二波段下的灰度值，生成待处理图像在第二波段下的灰度图像。
[0073]
图3是本发明实施例提供的基于生成对抗网络的红外波段拓展方法的另一种流程示意图。本实施例中，红外波段拓展模型包括预先训练好的生成器网络和预先训练好的判别器网络；
[0074]
如图3所示，红外波段拓展模型可采用如下步骤训练得到：
[0075]
s301、获取训练样本，每个训练样本包括第一波段的第一样本图像、以及第一样本图像对应的第二波段的第二样本图像；
[0076]
s302、输入训练样本至待训练生成对抗网络，以使待训练生成器网络确定第一样本图像中各个像素点在第二波段下的第一辐射值，并使待训练判别器网络根据第二样本图像以及第一辐射值，计算第二样本图像中各个像素点的真实辐射值与第一辐射值之间的第一差异；
[0077]
s303、当第一差异满足预设条件时，固定待训练生成器网络的当前参数，使待训练生成器网络利用自身的当前参数确定第一样本图像中各个像素点在第二波段下的第二辐射值，并使待训练判别器网络计算第二样本图像中各个像素点的真实辐射值与第二辐射值之间的第二差异、以及第一损失函数的函数值，进一步根据第一损失函数的函数值调整待训练生成器网络的当前参数；
[0078]
s304、当第二差异满足预设条件时，得到预先训练好的生成器网络；
[0079]
s305、固定待训练判别器网络的参数，使预先训练好的生成器网络利用自身参数确定第一样本图像中各个像素点在第二波段下的第三辐射值，并使待训练判别器网络计算第二样本图像中各个像素点的真实辐射值与第三辐射值之间的第三差异、以及第二损失函数的函数值，进一步根据第二损失函数的函数值调整待训练生成器网络的当前参数；
[0080]
s306、当第三差异满足预设条件时，得到预先训练好的生成对抗网络。
[0081]
可选地，本实施例中的训练样本包括第一样本图像和与之对应的第二样本图像，其中，第一样本图像是第一波段下的红外图像、第二样本图像是第二波段下的红外图像。需要说明的是，在获得训练样本后，可以将第一样本图像及第二样本图像的分辨率均缩放至256
×
256。
[0082]
本实施例中，待训练生成对抗网络包括待训练生成器网络和待训练判别器网络。具体而言，将训练样本输入至待训练生成对抗网络后，待训练生成器网络根据第一样本图像中各个像素点本征处的辐射值，确定每个像素点的温度值，进而根据每个像素点的温度值，推算出第一样本图像中各个像素点在第二波段下的第一辐射值；进一步地，待训练判别
器网络确定各个像素点在第二波段下的第一辐射值与第二样本图像各个像素点的真实辐射值之间的第一差异。
[0083]
可选地，确定第一差异的过程中，首先计算第一样本图像中各个像素点在第二波段下的第一辐射值与第二样本图像中各个像素点的真实辐射值的差值：
[0084]
me＝m
r-mv[0085]
其中，mr表示第二样本图像中各个像素点的真实辐射值，mv表示待训练生成器网络计算得到的第一辐射值，me为第一样本图像中各个像素点在第二波段下的第一辐射值与第二样本图像中各个像素点的真实辐射值的差值。
[0086]
进一步地，计算第一样本图像中各个像素点在第二波段下的第一辐射值与第二样本图像中各个像素点的真实辐射值的差值均值的标准差：
[0087][0088]
式中，m
ei
为第一样本图像中第i个像素点辐射差值，n表示第一样本图像中的像素点个数，me为第一样本图像中各个像素点在第二波段下的第一辐射值与第二样本图像中各个像素点的真实辐射值的差值均值；
[0089]
第一样本图像中各个像素点在第二波段下的第一辐射值与第二样本图像中各个像素点的真实辐射值的差值均值的标准差
[0090]
本实施例中，预设条件可以为：上述差值与差值均值的差小于差值均值的标准差的3倍；当上述第一差异满足预设条件时，固定待训练生成器网络的当前参数，使待训练生成器网络利用自身的当前参数确定第一样本图像中各个像素点在第二波段下的第二辐射值，并使待训练判别器网络计算第二样本图像中各个像素点的真实辐射值与第二辐射值之间的第二差异、以及第一损失函数的函数值，进一步根据第一损失函数的函数值调整待训练生成器网络的当前参数。
[0091]
可选地，第一损失函数为：
[0092][0093]
其中，lg表示第一损失函数，n表示第二样本图像中的像素点数量，xi表示第一样本图像中第i个像素点在第二波段下的第二辐射值。
[0094]
需要说明的是，确定第二样本图像中各个像素点的真实辐射值与第二辐射值之间的第二差异的步骤包括：计算第一样本图像中各个像素点在第二波段下的第二辐射值与第二样本图像中各个像素点的真实辐射值的差值、以及差值均值的标准差。
[0095]
进一步地，当第二差异满足预设条件时，得到预先训练好的生成器网络，此时固定待训练判别器网络的参数，使预先训练好的生成器网络利用自身参数确定第一样本图像中各个像素点在第二波段下的第三辐射值，并使待训练判别器网络计算第二样本图像中各个像素点的真实辐射值与第三辐射值之间的第三差异、以及第二损失函数的函数值，进一步
根据第二损失函数的函数值调整待训练生成器网络的当前参数；当第三差异满足预设条件时，得到预先训练好的生成对抗网络。
[0096]
本实施例中，第二损失函数可以为：
[0097][0098]
其中，ld表示第二损失函数。
[0099]
通过上述各实施例可知，本发明的有益效果在于：
[0100]
本发明提供一种基于生成对抗网络的红外波段拓展方法，包括：获取第一波段的待处理图像，待处理图像为红外图像；将待处理图像输入红外波段拓展模型，以使红外波段拓展模型确定待处理图像在第二波段下各像素点的本征处辐射值，并在根据第二波段下各像素点的本征处辐射值确定各像素点的灰度值之后，生成合成图像。本发明中红外波段拓展模型为预先训练好的生成对抗网络，通过生成对抗网络建立第一波段与拓展后的第二波段之间的映射关系，进而可以将第一波段下的待处理图像由中波拓展至长波、或者由长波拓展至中波，具有较强的实用性。
[0101]
本发明实施例还提供了一种电子设备，如图4所示，包括处理器401、通信接口402、存储器403和通信总线404，其中，处理器401，通信接口 402，存储器403通过通信总线404完成相互间的通信，
[0102]
存储器403，用于存放计算机程序；
[0103]
处理器401，用于执行存储器403上所存放的程序时，实现如下步骤：
[0104]
获取第一波段的待处理图像，所述待处理图像为红外图像；
[0105]
将所述待处理图像输入红外波段拓展模型，以使所述红外波段拓展模型确定所述待处理图像在第二波段下各像素点的本征处辐射值，并在根据所述第二波段下各像素点的本征处辐射值确定各像素点的灰度值之后，生成合成图像；
[0106]
其中，所述红外波段拓展模型为预先训练好的生成对抗网络，所述合成图像为所述待处理图像在第二波段下的灰度图像。
[0107]
上述电子设备提到的通信总线可以是外设部件互连标准(peripheralcomponent interconnect，pci)总线或拓展工业标准结构(extended industrystandard architecture，eisa)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
[0108]
通信接口用于上述电子设备与其他设备之间的通信。
[0109]
存储器可以包括随机存取存储器(random access memory，ram)，也可以包括非易失性存储器(non-volatile memory，nvm)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
[0110]
上述的处理器可以是通用处理器，包括中央处理器(central processingunit，cpu)、网络处理器(network processor，np)等；还可以是数字信号处理器(digital signal processing，dsp)、专用集成电路(application specificintegrated circuit，asic)、现场可编程门阵列(field-programmable gate array， fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
[0111]
本发明实施例提供的方法可以应用于电子设备。具体的，该电子设备可以为：台式计算机、便携式计算机、智能移动终端、服务器等。在此不作限定，任何可以实现本发明的电子设备，均属于本发明的保护范围。
[0112]
对于装置/电子设备/存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0113]
需要说明的是，本发明实施例的电子设备及存储介质分别是应用上述基于生成对抗网络的红外波段拓展方法的电子设备及存储介质，则上述基于生成对抗网络的红外波段拓展方法的所有实施例均适用于该装置、电子设备及存储介质，且均能达到相同或相似的有益效果。
[0114]
应用本发明实施例所提供的终端设备，可以展示专有名词和/或固定词组供用户选择，进而减少用户输入时间，提高用户体验。
[0115]
在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
[0116]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。此外，本领域的技术人员可以将本说明书中描述的不同实施例或示例进行接合和组合。
[0117]
尽管在此结合各实施例对本技术进行了描述，然而，在实施所要求保护的本技术过程中，本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书，可理解并实现所述公开实施例的其他变化。在权利要求中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。
[0118]
本领域技术人员应明白，本技术的实施例可提供为方法、装置(设备)、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式，这里将它们都统称为“模块”或“系统”。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。计算机程序存储/分布在合适的介质中，与其它硬件一起提供或作为硬件的一部分，也可以采用其他分布形式，如通过internet或其它有线或无线电信系统。
[0119]
本技术是参照本技术实施例的方法、装置(设备)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在
流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0120]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0121]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0122]
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。