一种基于显著目标增强的红外和可见光融合方法与流程

1.本发明属于图像处理和计算机视觉领域，涉及一种基于显著目标增强的红外和可见光融合方法。


背景技术：

2.基于可见光波段的双目立体视觉技术发展愈发成熟，可见光相机的成像具有丰富的颜色信息且细节纹理，因而可以快速、准确的获得双目图像之间的立体匹配信息，从而可以获取较为准确的场景深度信息。但是，可见光波段成像存在其缺陷，如在光照条件不充分，暴雨，大雾等天气情况下，其成像质量大大下降，大幅降低了匹配的精度。因此利用不同波段信息源的互补性建立彩色图像融合系统，是实现极端环境下实现更可信的图像感知的有效途径。如利用可见光波段双目相机与红外波段双目相机构成多波段立体视觉系统，利用红外成像不受雾雨雪、光照影响优势，弥补可见光波段的成像不足，从而获取更完整、精确的融合信息。
3.多模态图像融合技术是利用不同传感器各自的优势，采用特定的算法或规则进行融合，获取高可靠性、视觉友好的一种图像处理框架。相比于同模态融合图像单一性，多模态图像融合可以获取更多图像信息，逐渐成为解决森林火警监控，无人驾驶，军事监控，月球探测的不可或缺方法。其目标是利用不同模态传感器成像的差异性和互补性，极大限度地提取各模态的图像信息，使用不同模态的源图像融合出一张信息丰富、真实度高的合成图像。因此多模态图像融合会对图像产生更全面的认识和更准确的定位。近年来，大多融合方法都是基于变换域进行研究设计，没有考虑到图像多尺度的细节信息，导致融合后的图像中细节丢失，如公开专利cn208240087u[中文]一种红外与可见光融合系统及图像融合装置。因而本发明在通过对红外和可见光进行数学建模后对其进行最优化求解，在保留红外和可见光图像的有效信息的基础上，实现细节的增强且去除伪影。


技术实现要素：

[0004]
本发明旨在克服现有技术的不足，提供了一种基于显著背景和目标增强的实时多模态图像融合算法。通过设计针对红外和可见光图像进行滤波分解得到背景层和细节层，针对背景层进行显著像素分布增强的融合，对细节层进行目标梯度增强的融合，最后通过gpu实现实时多模态图像融合。
[0005]
本发明的具体技术方案的步骤如下：
[0006]
一种基于显著目标增强的红外和可见光融合方法，步骤如下：
[0007]
第一步：获取配准好的红外和可见光图像：
[0008]
1-1)分别对可见光双目相机及红外双目相机进行每个镜头的标定及各自系统的联合标定；
[0009]
1-2)利用张正友标定法对每台红外相机、可见光相机分别进行标定，获得每台相机的焦距、主点位置等内部参数和旋转、平移等外部参数；
[0010]
1-3)利用联合标定获得的rt及检测的棋盘格角点计算同一平面在可见光图像与红外图像中的位置关系运用单应性矩阵进行可见光图像到红外图像的配准。
[0011]
第二步：对可见光图像进行色彩空间的转换，从rgb图像转成hsv图像，提取彩色图像的明度信息作为图像融合的输入，保留其原有色调及饱和度；
[0012]
2-1)针对可见光图像是rgb三通道的问题，进行rgb色彩空间到hsv色彩空间的转换，提取可见光图像的v(明度)信息与红外图像进行融合，保留其 h(色调)，s(饱和度)，具体转换如下所示：
[0013]r′
＝r/255g
′
＝g/255b
′
＝b/255
[0014]
cmax＝max(r
′
,g
′
,b
′
)
[0015]
cmin＝min(r
′
，g
′
，b
′
)
[0016]
δ＝cmax-cmin
[0017]
v＝cmax
[0018]
2-2)提取v(明度)通道作为可见光的输入，保留h(色调)，s(饱和度) 到对应的矩阵为后面融合后的色彩还原保留颜色信息。
[0019]
第三步：对输入的红外图像和进行色彩空间转换后的可见光图像进行互导向滤波分解，把图像分别分解成背景层和细节层，背景层刻画的图像的结构信息，细节层刻画的是梯度和纹理信息；
[0020]
b＝m(i,v),d＝(i,v)-b
[0021]
其中，b代表背景层，d代表细节层，m代表互导向滤波；
[0022]
第四步：设计了基于显著图的方法融合背景层，基于每个像素点跟全局的所有像素点进行做差并取绝对值后进行累加，公式如下：
[0023]
s(p)＝|i(p)-i1| |i(p)-i2| |i(p)-i3|
…
|i(p)-i(n)|
[0024][0025]
其中s(p)表示像素点的显著值，n表示图像中像素值的和，m表示直方图统计公式，i代表图像中的像素点；
[0026]
基于显著值s(p)，可以得每个像素的显著值，显著值更新计算公式如下：
[0027][0028]
其中，d代颜色距离的计算参数根据获取的显著值，我们可以得到基于背景层融合的显著图权重：
[0029][0030]
其中w代表权重，sj代表对应的像素值，然后对分解后红外图像和可见光图像进行基于显著图权重的线性加权的融合，计算如下公式：
[0031]
b＝0.5*(0.5 i*(w1-w2)*0.5) 0.5*(0.5 v*(w2-w1)*0.5)
[0032]
其中i，v分别代表输入的红外图像和可见光图像，w1，w2分别代表对红外图像和可见光图像取得的显著权重；
[0033]
第五步：之后对象差分后出来的细节层进行梯度增强的像素融合策略，设计一个梯度增强的算法，输入红外图像和可见光图像的细节图像φi，φv，实现梯度增强；e是梯度增强运算符,i和j是像素的位置；max是取最大的运算符；
[0034]
e(φi)＝max(max(φi(i 1,j 1),φi(i,j)))
[0035]
e(φv)＝max(max(φv(i 1,j 1),φv(i,j)))
[0036]
细节的层的融合结果d，可以表示成：
[0037]
d＝e(φi) e(φv)
[0038]
第六步：最后，对背景层和细节层进行线性加权得：
[0039]
f＝b d其中f代表融合结果，b和d表示背景层融合结果和细节层融合结果；
[0040]
第七步：通过把融合图像存入(明度v)信息进行更新，结合之前保留的(色调h)和(饱和度s)进行hsv到rgb色彩空间的还原；
[0041]
具体公式如下所示：
[0042]
c＝v
×s[0043]
x＝c
×
(1-|(h/60
°
)mod2-1|)
[0044]
m＝v-c
[0045][0046]r′
,g
′
,b
′
＝((r
′
m)
×
255，(g
′
m)
×
255，(b
′
m)
×
255)
[0047]
其中，c为明度与饱和度的成绩，m为明度与c的差。
[0048]
第八步：对步骤七，还原的图像进行颜色校正与增强，生成符合观察与检测的三通道图片；分别对r通道、g通道、b通道进行色彩增强。
[0049]
所述的第八步中，分别对r通道、g通道、b通道进行色彩增强，具体如下公式所示：
[0050]rout
＝(r
in
)
1/gamma
[0051]rdisplay
＝(r
in(1/gamma)
)
gamma
[0052]gout
＝(g
in
)
1/gamma
[0053]
g＝(g
in(1/gamma)
)
gamma
[0054]bout
＝(b
in
)
1/gamma
[0055]bdisplay
＝(b
in(1/gamma)
)
gamma
。
[0056]
本发明的有益效果是：
[0057]
本发明设计了一种利用红外和可见光双目立体相机实时融合的方法。利用滤波分解策略将图像分解成背景层和细节层，分别在背景层和细节层进行不同的目标导向的融合
侧率，有效的获取双边信息且增强目标和图像整体的像素分布，该发明具有以下特点：
[0058]
(1)系统容易构建，使用立体双目相机即可完成输入数据的采集；
[0059]
(2)程序简单，易于实现；
[0060]
(3)利用滤波分解图像，实现不同目标导向的融合；
[0061]
(4)结构完成，可进行多线程加速与操作，程序具有鲁棒性；
[0062]
(5)通过显著性增强和图像梯度增强，实现融合图像的显著目标增强。
附图说明
[0063]
图1是可见光与红外融合算法流程图。
[0064]
图2是可见光与红外进行分解得到不同层的结果图。
[0065]
图3是可见光与红外的背景层和细节层的融合结果。
[0066]
图4是最终融合图像。
具体实施方式
[0067]
本发明提出了一种利用红外相机和可见光相机进行实时图像融合的方法，结合附图及实施例详细说明如下：
[0068]
将双目立体相机摆放在固定的平台上，实验相机的图像分辨率为780
×
340，视场角为45.4
°
，为保证实时性利用nvidiatx2进行计算。在此基础上设计实时红外和可见光融合的方法，所述的方法包括下列步骤：
[0069]
1)获取配准好的红外和可见光图像：
[0070]
1-1)分别对可见光双目相机及红外双目相机进行每个镜头的标定及各自系统的联合标定；
[0071]
1-2)利用张正友标定法对每台红外相机、可见光相机分别进行标定，获得每台相机的焦距、主点位置等内部参数和旋转、平移等外部参数。
[0072]
1-3)利用联合标定获得的rt及检测的棋盘格角点计算同一平面在可见光图像与红外图像中的位置关系运用单应性矩阵进行可见光图像到红外图像的配准。
[0073]
2)图像色彩空间转换
[0074]
2-1)针对可见光图像是rgb三通道的问题，进行rgb色彩空间到hsv色彩空间的转换，提取可见光图像的v(明度)信息与红外图像进行融合，保留其 h(色调)，s(饱和度)，具体转换如下所示：
[0075]r′
＝r/255g
′
＝g/255b
′
＝b/255
[0076]
cmax＝max(r
′
,g
′
,b
′
)
[0077]
cmin＝min(r
′
，g
′
，b
′
)
[0078]
δ＝cmax-cmin
[0079]
v＝cmax
[0080]
2-2)提取v(明度)通道作为可见光的输入，保留h(色调)，s(饱和度) 到对应的矩阵为后面融合后的色彩还原保留颜色信息。
[0081]
3)对输入的红外图像和进行色彩空间转换后的可见光图像进行互导向滤波分解，把图像分别分解成背景层和细节层，背景层刻画的图像的结构信息，细节层刻画的是梯度
和纹理信息。
[0082]
b＝m(i,v),d＝(i,v)-b
[0083]
其中，b代表背景层，d代表细节层，m代表互导向滤波。
[0084]
4)设计了基于显著图的方法融合背景层，基于每个像素点跟全局的所有像素点进行做差并取绝对值后进行累加，公式如下：
[0085]
s(p)＝|i(p)-i1| |i(p)-i2| |i(p)-i3|
…
|i(p)-i(n)|
[0086][0087]
其中s(p)表示像素点的显著值，n表示图像中像素值的和，m表示直方图统计公式，i代表图像中的像素点。
[0088]
基于显著值s(p)，可以得每个像素的显著值，显著值更新计算公式如下：
[0089][0090]
其中，d代颜色距离的计算参数根据获取的显著值，可以得到基于背景层融合的显著图权重：
[0091][0092]
其中w代表权重，sj代表对应的像素值，然后对分解后红外图像和可见光图像进行基于显著图权重的线性加权的融合，计算如下公式：
[0093]
b＝0.5*(0.5 i*(w1-w2)*0.5) 0.5*(0.5 v*(w2-w1)*0.5)
[0094]
其中i，v分别代表输入的红外图像和可见光图像，w1，w2分别代表对红外图像和可见光图像取得的显著权重。
[0095]
5)之后对象差分后出来的细节层进行梯度增强的像素融合策略，设计一个梯度增强的算法，输入红外图像和可见光图像的细节图像φi，φv，实现梯度增强。e是梯度增强运算符，i和j是像素的位置。max是取最大的运算符。
[0096]
e(φi)＝max(max(φi(i 1，j 1)，φi(i，j)))
[0097]
e(φv)＝max(max(φv(i 1，j 1)，φv(i，j)))
[0098]
细节的层的融合结果d，可以表示成：
[0099]
d＝e(φi) e(φv)
[0100]
6)最后，对背景层和细节层进行线性加权得：
[0101]
f＝b d
[0102]
其中f代表融合结果，b和d表示背景层融合结果和细节层融合结果。
[0103]
7-1)通过把融合图像存入(明度v)信息进行更新，结合之前保留的(色调h)和(饱和度s)进行hsv到rgb色彩空间的还原。具体公式如下所示：
[0104]
c＝v
×s[0105]
x＝c
×
(1-|(h/60
°
)mod2-1|)
[0106]
m＝v-c
[0107][0108]r′
,g
′
,b
′
＝((r
′
m)
×
255，(g
′
m)
×
255，(b
′
m)
×
255)
[0109]
其中，c为明度与饱和度的成绩，m为明度与c的差。
[0110]
7-2)对步骤7-1，还原的图像进行颜色校正与增强，生成符合观察与检测的三通道图片；分别对r通道、g通道、b通道进行色彩增强，具体如下公式所示：
[0111]rout
＝(r
in
)
1/gamma
[0112]rdisplay
＝(r
in(1/gamma)
)
gamma
[0113]gout
＝(g
in
)
1/gamma
[0114]
g＝(g
in(1/gamma)
)
gamma
[0115]bout
＝(b
in
)
1/gamma
[0116]bdisplay
＝(b
in(1/gamma)
)
gamma
。