一种基于显著目标增强的红外和可见光融合方法与流程

技术特征：
1.一种基于显著目标增强的红外和可见光融合方法，其特征在于，步骤如下：第一步：获取配准好的红外和可见光图像：第二步：对可见光图像进行色彩空间的转换，从rgb图像转成hsv图像，提取彩色图像的明度信息作为图像融合的输入，保留其原有色调及饱和度；第三步：对输入的红外图像和进行色彩空间转换后的可见光图像进行互导向滤波分解，把图像分别分解成背景层和细节层，背景层刻画的图像的结构信息，细节层刻画的是梯度和纹理信息；b＝m(i，v)，d＝(i，v)-b其中，b代表背景层，d代表细节层，m代表互导向滤波；第四步：设计了基于显著图的方法融合背景层，基于每个像素点跟全局的所有像素点进行做差并取绝对值后进行累加，公式如下：s(p)＝|i(p)-i1| |i(p)-i2| |i(p)-i3|
…
|i(p)-i(n)|其中s(p)表示像素点的显著值，n表示图像中像素值的和，m表示直方图统计公式，i代表图像中的像素点；基于显著值s(p)，可以得每个像素的显著值，显著值更新计算公式如下：其中，d代颜色距离的计算参数根据获取的显著值，我们可以得到基于背景层融合的显著图权重：其中w代表权重，sj代表对应的像素值，然后对分解后红外图像和可见光图像进行基于显著图权重的线性加权的融合，计算如下公式：b＝0.5*(0.5 i*(w1-w2)*0.5) 0.5*(0.5 v*(w2-w1)*0.5)其中i，v分别代表输入的红外图像和可见光图像，w1，w2分别代表对红外图像和可见光图像取得的显著权重；第五步：之后对象差分后出来的细节层进行梯度增强的像素融合策略，设计一个梯度增强的算法，输入红外图像和可见光图像的细节图像φi，φv，实现梯度增强；e是梯度增强运算符，i和j是像素的位置；max是取最大的运算符；e(φi)＝max(max(φi(i 1，j 1)，φi(i，j)))e(φv)＝max(max(φv(i 1，j 1)，φv(i，j)))细节的层的融合结果d，可以表示成：d＝e(φi) e(φv)第六步：最后，对背景层和细节层进行线性加权得：
f＝b d其中f代表融合结果，b和d表示背景层融合结果和细节层融合结果；第七步：通过把融合图像存入(明度v)信息进行更新，结合之前保留的(色调h)和(饱和度s)进行hsv到rgb色彩空间的还原；第八步：对步骤七，还原的图像进行颜色校正与增强，生成符合观察与检测的三通道图片；分别对r通道、g通道、b通道进行色彩增强。2.如权利要求1所述的一种基于显著目标增强的红外和可见光融合方法，其特征在于，所述的第一步具体操作如下：1-1)分别对可见光双目相机及红外双目相机进行每个镜头的标定及各自系统的联合标定；1-2)利用张正友标定法对每台红外相机、可见光相机分别进行标定，获得每台相机的焦距、主点位置等内部参数和旋转、平移等外部参数；1-3)利用联合标定获得的rt及检测的棋盘格角点计算同一平面在可见光图像与红外图像中的位置关系运用单应性矩阵进行可见光图像到红外图像的配准。3.如权利要求1或2所述的一种基于显著目标增强的红外和可见光融合方法，其特征在于，所述的第二步具体操作如下：2-1)针对可见光图像是rgb三通道的问题，进行rgb色彩空间到hsv色彩空间的转换，提取可见光图像的v(明度)信息与红外图像进行融合，保留其h(色调)，s(饱和度)，具体转换如下所示：r
′
＝r/255g
′
＝g/255b
′
＝b/255cmax＝max(r
′
，g
′
，b
′
)cmin＝min(r
′
，g
′
，b
′
)δ＝cmax-cminv＝cmax2-2)提取v(明度)通道作为可见光的输入，保留h(色调)，s(饱和度)到对应的矩阵为后面融合后的色彩还原保留颜色信息。4.如权利要求1或2所述的一种基于显著目标增强的红外和可见光融合方法，其特征在于，所述的第七步具体操作如下：具体公式如下所示：c＝v
×
sx＝c
×
(1-|(h/60
°
)mod2-1|)m＝v-c
r
′
，g
′
，b
′
＝((r
′
m)
×
255，(g
′
m)
×
255，(b
′
m)
×
255)其中，c为明度与饱和度的成绩，m为明度与c的差。5.如权利要求1或2所述的一种基于显著目标增强的红外和可见光融合方法，其特征在于，所述的第八步中，分别对r通道、g通道、b通道进行色彩增强，具体如下公式所示：r
out
＝(r
in
)
1/gamma
r
display
＝(r
in(1/gamma)
)
gamma
g
out
＝(g
in
)
1/gamma
g＝(g
in(1/gamma)
)
gamma
b
out
＝(b
in
)
1/gamma
b
display
＝(b
in(1/gamma)
)
gamma
。6.如权利要求3所述的一种基于显著目标增强的红外和可见光融合方法，其特征在于，所述的第八步中，分别对r通道、g通道、b通道进行色彩增强，具体如下公式所示：r
out
＝(r
in
)
1/gamma
r
display
＝(r
in
(
1/gamma)
)
gamma
g
out
＝(g
in
)
1/gamma
g＝(g
in(1/gamma)
)
gamma
b
out
＝(b
in
)
1/gamma
b
display
＝(b
in(1/gamma)
)
gamma
。7.如权利要求4所述的一种基于显著目标增强的红外和可见光融合方法，其特征在于，所述的第八步中，分别对r通道、g通道、b通道进行色彩增强，具体如下公式所示：r
out
＝(r
in
)
1/gamma
r
display
＝(r
in(1/gamma)
)
gamma
g
out
＝(g
in
)
1/gamma
g＝(g
in(1/gamma)
)
gamma
b
out
＝(b
in
)
1/gamma
b
display
＝(b
in(1/gamma)
)
gamma
。

技术总结
本发明属于图像处理和计算机视觉领域，一种基于显著目标增强的红外和可见光融合方法，本发明采用一对红外相机和可见光相机获取输入图像，利用双目相机和NVIDIATX2构建高性能运算平台，并构建高性能求解算法以获高质量的红外和可见光融合图像。系统容易构建，分别使用立体双目红外和可见光相机即可完成输入数据的采集；程序简单，易于实现；利用红外和可见光相机成像的不同原理，通过用于滤波分解把输入图像分解成背景层和细节层，针对背景层设了基于显著像素增强融合方法，针对细节层设计基于图像梯度增强融合算法，该算法有效增强了融合图像的质量并有效保留双边图像的显著信息，最后通过GPU加速达到实时。最后通过GPU加速达到实时。最后通过GPU加速达到实时。


技术研发人员：刘日升 刘晋源 仲维 樊鑫 罗钟铉
受保护的技术使用者：大连理工大学
技术研发日：2021.09.16
技术公布日：2022/1/6