基于热对比度增强时间插值的高帧率热成像检测方法

1.本技术涉及多物理场热波无损检测技术领域，涉及通过融合分别由低秩张量填充法和时间插值法重建的热图像序列以显著提高红外热像仪帧频率，尤其涉及一种基于热对比度增强时间插值的高帧率热成像检测方法。


背景技术：

2.近年来多物理场热波无损检测技术，例如光热成像、振动热成像由于具有高对比度、无接触、非破坏性等突出优点正广泛应用于工业复合材料、生物组织的无损检测。然而，由于目前常用的红外热像仪其帧频率通常较低，无法满足热成像技术在小涂层或薄层厚度定量评估、高频热成像等高要求场合的应用，极大地限制了多物理场热波无损检测技术的发展；并进一步制约了基于热成像技术的先进研究手段的探索和应用。因此，开展可显著提高红外热像仪帧频率的方法的研究就显得非常的必要和迫切。
3.目前，虽已有部分学者开展了关于热波无损检测中的红外热像仪帧频率提高方法的研究，但所提出的方法适用范围较为单一，例如，所提出的样条插值方法仅适用于脉冲热成像，同步欠采样方法仅适用于锁相热成像，因此，以上方法无法满足日益复杂多变的热成像采集要求。此外，以上所提出的高帧频率热成像检测方法无法自动地从所采集到的热图像序列中识别出显著目标，需要借助于其它特征提取手段，因此，增加了热成像检测的工作强度、降低了检测效率。


技术实现要素：

4.本技术提供了一种基于热对比度增强时间插值的高帧率热成像检测方法，其技术目的是获得同等条件下远高于红外热像仪最大帧频率的采样瞬间的热响应，自动识别显著目标和准确获得显著目标处的实时温度信息。
5.本技术的上述技术目的是通过以下技术方案得以实现的：
6.一种基于热对比度增强时间插值的高帧率热成像检测方法，包括：
7.步骤1，通过红外热像仪在低帧率下采集含待测样品表面温度信息的低帧率热图像序列，并形成三阶热张量其中，表示实数集；n
x
表示热图像横向分辨率；ny表示热图像纵向分辨率；n
t
表示所采集到的热图像序列的总帧数；亦即：(n
x
,ny)和n
t
分别表示三阶热张量z的空间模式和时间模式；
8.基于所述三阶热张量z的低秩与时-空域平滑特性，构建基于时-空域平滑特性的低秩张量填充模型，所述低秩张量填充模型表示为：
[0009][0010]
其中，λ1和λ2表示正则化参数；αn表示非负权重系数，αn≥0，且≥0，且l
(n)
表
示三阶热张量z的第n维展开；和||
·
||
1,1
分别表示任意矩阵的平方frobenius范数和任意矩阵所有元素绝对值之和；x与y都表示矩阵因子，且皆可沿三阶热张量z的空间模式(n
x
,ny)与时间模式n
t
展开，则yn＝(y1,y2,y3)，xn＝(x1,x2,x3)；w表示满足w
t
w＝i条件的小波紧框架变换矩阵，i表示单位矩阵；表示垂直导数算子；
[0011]
ι(z)表示指示函数，表示为：
[0012][0013]
其中，ω表示可用元素集合，ψ
ω
(
·
)表示投影算子，γ表示不完备的观测热张量；
[0014]
步骤2，根据bsubm算法对步骤1的所述低秩张量填充模型进行求解，补全在低帧率下无法采集到的热图像序列，即第一热图像序列；
[0015]
步骤3，对在低帧率下采集的所述热图像序列的所有像素依次进行多项式时间插值算法，得到大于最大低帧率的采样时刻的第二热图像序列；
[0016]
步骤4，对所述第一热图像序列和所述第二热图像序列分别进行二值化分割处理，得到第三热图像序列和第四热图像序列；
[0017]
步骤5，将所述第三热图像序列和所述第四热图像序列进行图像融合，得到高帧率热图像序列；
[0018]
其中，所述步骤2中，根据bsubm算法对步骤1的所述低秩张量填充模型进行求解，则有式(2)表示为：
[0019][0020][0021][0022]
其中，l即l
(n)
；k表示迭代数；f(.)表示目标函数；ρ》0表示近端参数；
[0023]
将式(2)分解为三个子问题，包括x子问题、y子问题和l子问题：
[0024]
x子问题即:
[0025][0026]
其中，i1表示与y1同维度大小的单位矩阵；表示第k次迭代时所重建三阶热张量沿着第三维度时间模式n
t
的展开；
[0027]
y子问题即:
[0028][0029]
其中，i2表示与y2同维度大小的单位矩阵；d表示一阶差分矩阵；表示(
·
)的moore-penrose伪逆；
[0030][0031]
其中，作为unfoldn(
·
)的逆操作，将已在第n个维度展开的矩阵重新折叠排列形成的热张量记为foldn(
·
)。
[0032]
本技术的有益效果在于：本技术的低秩张量填充模型通过考虑热张量数据的低秩性和空-时平滑性，从而能够较大程度地补全高帧频率下所缺失的热图像序列，同时通过采用基于多项式时间插值方法并二进制分割、融合所重建的热图像序列，可显著增强待识别目标与背景间的热对比度，从而最大程度地提高热成像方法的时间分辨率与空间对比度。
[0033]
本技术中的时间插值方法采用的是既可重建脉冲热响应，也可重建正弦调制热响应的多项式函数，因此，本技术可同时适用于脉冲热成像和锁相热成像这两种热成像模态下的红外热像仪帧频率的显著提高。由于进一步使用了二值化分割和图像融合方法，因此，本技术还可从所重建的高帧率热图像序列中自动识别缺陷大小及其位置。
[0034]
本技术可广泛应用于工业材料和生物组织的热波无损检测、还可扩展到基于热疗法的生物组织中病灶处温度的实时监测，具有非常广阔的应用前景。
附图说明
[0035]
图1为本技术所述方法流程图；
[0036]
图2为碳纤维增强复合材料次表面缺陷的脉冲热图像序列重建结果的示意图，其中(a)表示原始热图像，(b)表示低秩张量填充模型的重建热图像，(c)表示对低秩张量填充模型所重建热图像二值化分割后的重建结果，(d)表示时间插值法重建热图像，(e)表示对时间插值法重建热图像二值化分割后的重建结果，(f)表示由所提出的热对比度增强时间插值算法重建的热图像；
[0037]
图3为碳纤维增强复合材料次表面缺陷的脉冲热数据分别在图2中(a)的缺陷像素与图2中(b)的完整像素的重建时域热响应示意图；
[0038]
图4为碳纤维增强复合材料次表面缺陷的锁相热图像序列重建结果的示意图，其中(a)表示原始热图像，(b)表示低秩张量填充法重建热图像，(c)表示对低秩张量填充法所重建热图像二进制分割后的重建结果，(d)表示时间插值法重建热图像，(e)表示对时间插值法重建热图像二进制分割后的重建结果，(f)表示由所提出的热对比度增强时间插值算法重建的热图像；
[0039]
图5为碳纤维增强复合材料次表面缺陷的锁相热数据分别在图4中(a)的缺陷像素与图4中(b)的完整像素的重建时域热响应示意图。
具体实施方式
[0040]
下面将结合附图对本技术技术方案进行详细说明。
[0041]
图1为本技术所述方法的流程图，如图1所示，该方法包括：
[0042]
步骤1，通过红外热像仪在低帧率下采集含待测样品表面温度信息的低帧率热图像序列，并形成三阶热张量其中，表示实数集；n
x
表示热图像横向分辨率；ny表示热图像纵向分辨率；n
t
表示所采集到的热图像序列的总帧数；亦即：(n
x
,ny)和n
t
分别表示三阶热张量z的空间模式和时间模式；
[0043]
基于所述三阶热张量z的低秩与时-空域平滑特性，构建基于时-空域平滑特性的低秩张量填充模型。考虑三阶热张量z的时-空域平滑特性，以显著提高和增强所重构的高帧率热图像序列的识别目标与背景间的热对比度。
[0044]
所述低秩张量填充模型表示为：
[0045][0046]
其中，λ1和λ2表示正则化参数；αn表示非负权重系数，αn≥0，且≥0，且l
(n)
表示三阶热张量z的第n维展开；和||
·
||
1,1
分别表示任意矩阵的平方frobenius范数和任意矩阵所有元素绝对值之和；x与y都表示矩阵因子，且皆可沿三阶热张量z的空间模式(n
x
,ny)与时间模式n
t
展开，则yn＝(y1,y2,y3)，xn＝(x1,x2,x3)；w表示满足w
t
w＝i条件的小波紧框架变换矩阵，i表示单位矩阵；表示垂直导数算子；
[0047]
ι(z)表示指示函数，表示为：
[0048][0049]
其中，ω表示可用元素集合，ψ
ω
(
·
)表示投影算子，γ表示不完备的观测热张量。
[0050]
对于低秩矩阵分解保真项三阶热张量z的tucker秩可表示为(r1,r2,r3),因此，矩阵因子可具体化为：与与该项可描述并促进由所采集到的热图像序列所形成的三阶热张量z在三个模式的低秩性。
[0051]
在第一正则项中,通过引入该正则项可增强三阶热张量z的空间模式的分段光滑性。在第二正则项中,通过引入该正则项可增强三阶热张量z的时间模式的分段光滑性，表示垂直导数算子，其可通过计算dy3来计算其中的项,d表示一阶差分矩阵。
[0052]
步骤2，根据bsubm算法对步骤1的所述低秩张量填充模型进行求解，补全在低帧率下无法采集到的热图像序列，即第一热图像序列。
[0053]
具体地，根据bsubm算法对步骤1的所述低秩张量填充模型进行求解，则有式(2)表示为：
[0054][0055][0056][0057]
其中，l即l
(n)
；k表示迭代数，对于热图像序列数据，k的值通常约为500；f(.)表示目标函数；ρ》0表示近端参数。
[0058]
将式(2)分解为三个子问题，包括x子问题、y子问题和l子问题：
[0059]
x子问题即:
[0060][0061]
其中，i1表示与y1同维度大小的单位矩阵；表示第k次迭代时所重建三阶热张量沿着第三维度时间模式n
t
的展开。
[0062]
y子问题即:
[0063][0064]
其中，i2表示与y2同维度大小的单位矩阵；d表示一阶差分矩阵；表示(
·
)的moore-penrose伪逆。
[0065][0066]
其中，作为unfoldn(
·
)的逆操作，将已在第n个维度展开的矩阵重新折叠排列形成的热张量记为foldn(
·
)。
[0067]
显然上述所分解的x子问题可通过交替方向乘子法(admm)在选定一个变量的同时固定其他变量来迭代更新求解；对于y子问题，可通过经典的sylvester矩阵方程来求解。利用该平滑低秩张量填充模型来重建原始三阶热张量z的停止准则为相邻两个重建张量的相对变化，可表示为其中ε为容差。
[0068]
步骤3，对在低帧率下采集的所述热图像序列的所有像素依次进行多项式时间插值算法，得到大于最大低帧率的采样时刻的第二热图像序列。
[0069]
该多项式时间插值算法既可重建脉冲热响应，也可重建正弦调制热响应的多项式函数，因此，本技术可同时适用于脉冲热成像和锁相热成像这两种热成像模态下的红外热
像仪帧频率的显著提高。
[0070]
具体地，通过上述低秩张量填充模型可有效地补全高帧率所要求但低帧率却无法采集到的热图像序列，由于仅考虑了低帧率下所采集的热图像序列的低秩特性，因此，该方法可同时抑制噪声以显著增强热图像序列中缺陷区与完好区间的热对比度。然而，为了显著提高红外热像仪的帧频率，还需要提供大量额外的热信息(温度值)来进一步补充缺失的热图像序列，这可以通过时间插值方法实现。在热成像检测中，所获得的插值帧热图像上给定像素的热流通常在最近的前一个捕获帧(或最近的后一个捕获帧)相应像素的前进(或向后)运动路径上。此外，由于脉冲热成像的脉冲响应和锁相热成像的正弦调制响应均可以通过多项式展开获得，因此，一个基于多项式函数的时间插值方法也被提出。对于低帧率下所采集到的由n
t
1个不同采样瞬间tq(q＝0,1,
…
,n
t
)形成的单像素热响应，根据多项式函数，其可表达如下：
[0071]
z(n
x
,ny)＝a0 a1t a2t2
…
aqtqꢀꢀ
(4)
[0072]
通过对式(4)的n
t
1个采样瞬间进行多项式展开，得到n
t
1个插值多项式，则其范德蒙矩阵表达为：
[0073][0074]
上述，a0,
…
,aq表示多项式系数；(n
x
,ny)分别表示三阶热张量z的第(n
x
,ny)个像素的热响应；tq表示时间t的q次幂；tq表示第q个采样时间点，q＝[0,1,...,n
t
]；n
x
∈[1,n
x
]；ny∈[1,ny]。
[0075]
通过对所采集到的低帧率热图像序列的所有像素依次执行多项式插值算法，可以获得具有远高于常用红外热像仪最大可用帧率的采样时刻的重构热图像序列，从而达到显著提高红外热像仪帧频率的目的。
[0076]
步骤4，对所述第一热图像序列和所述第二热图像序列分别进行二值化分割处理，得到第三热图像序列和第四热图像序列。即：采用二值化分割法分别处理由低秩张量填充模型重建的热图像序列和由基于多项式时间插值法获得的热图像序列，以自动分割缺陷与完好区域，从而识别显著目标(内部缺陷)并定位其在热图像上的位置。
[0077]
具体地，可以采用局部自适应阈值法对所述第一热图像序列和所述第二热图像序列分别进行二值化分割处理。
[0078]
步骤5，将所述第三热图像序列和所述第四热图像序列进行图像融合，得到高帧率热图像序列。进行图像融合后，获得可显著增强缺陷区与完好区间热对比度的热图像，最终获得热对比度显著增强的高帧率热图像序列。
[0079]
具体地，可以采用基于像素值最小原理对所述第三热图像序列和所述第四热图像序列进行图像融合。
[0080]
实施例1：对于碳纤维增强复合板次表面缺陷的脉冲热成像检测，所研究的碳纤维增强复合板的物理尺寸为300mm
×
300mm，厚度为2mm，25个正方形内部缺陷(聚四氟乙烯内插物)，面积和深度都是可变的，但每个聚四氟乙烯内插物的厚度都相同。以上25个缺陷被
安排在一个5行
×
5列布置，相邻两缺陷的孔中心间距为50mm，这些缺陷的横向尺寸分别为3、5、7、10、15mm，深度为0.2-1.0mm毫米。所使用的红外热像仪的帧频率为每秒145帧；所使用的热图像序列包含994幅热图像，其子区域为选择493
×
493像素。
[0081]
步骤1，首先对原始热数据进行时域均匀欠采样，其采样率分别设定为10％、20％和50％，其相应地提高红外热像仪的帧频率为10倍、5倍和2倍，以此来构造观测张量；同时设定初始tucker秩为(10,10,10)，最大tucker秩为(85,95,65)，参数ρ为0.01，容差ε为2
×
10-4
。
[0082]
步骤2，输入上述的已设定参数，并再次设定最大迭代数为500，初始化矩阵因子和通过交替方向乘子法更新xn，通过sylvester矩阵方程来更新yn，通过下式更新l。
[0083][0084]
通过实施上述重建过程可获得图2中(b)所示的重建热图像，与图2中(a)的原始热图像相比，由于仅考虑了低帧率热图像序列的低秩信息，消除了加热不均匀和抑制了噪声的干扰，从而增强了缺陷区与完好区间的热对比度。
[0085]
步骤3，采用所提出的基于多项式的时间插值算法对低帧率的热图像序列进行多项式插值处理，可获得图2中(d)的重建图像。
[0086]
步骤4，利用局部自适应阈值法分别对由步骤2中的低秩张量填充模型所重建的热图像(即图2中(b))，以及由步骤3中的基于多项式的时间插值算法所重建的热图像(即图2中(d))，进行二值化分割处理以自动识别次表面缺陷形貌和其相应的位置，其分别如图2中(c)和图2中(e)所示。
[0087]
步骤5，基于像素值最小原理对分割后重建热图像图2中(c)和图2中(e)进行图像融合，获得热对比度可显著增强的融合图像如图2中(f)所示。对比可发现，对于脉冲热成像，融合了低秩张量填充模型所重建热图像与时间插值法所重建热图像的重建热图像的热对比度主要由低秩张量填充法所重建热图像来决定，但都具有远好于原始热图像和其它重建热图像的缺陷次表面缺陷识别结果；此外，与一般热特征提取算法所不同的是，此时热图像上像素值即为该时刻缺陷区的实时表面温度信息。
[0088]
图3为不同采样率下碳纤维增强复合板次表面缺陷的脉冲热数据分别在缺陷像素与完整像素的重建时域热响应；可发现即使在采样率仅为10％的情况下，也可以很好地重构原始热响应，此时对应于将红外热像仪帧频率提高了10倍。因此，可知通过所提出的热对比度增强时间插值算法可将脉冲热成像下的红外热像仪帧频率提高至少10倍。
[0089]
实施例2：对于碳纤维增强复合板次表面缺陷的锁相热成像检测，所研究的碳纤维增强复合板的物理尺寸为300mm
×
300mm，厚度为4mm，该样品仍含5行
×
5列布置的25个不同的底部平孔缺陷，它们的直径分别为2、5、10、15、20mm，深度分别为0.5、0.8、1.0、1.2、1.5mm，相邻两缺陷的孔中心间距为50mm。此外，所设定的探测调制频率为0.05hz，所用的红外热像仪帧频率为每秒50帧，所获得热图像序列有1000幅热图像，其子区域为选择380
×
380像素。
[0090]
步骤1，首先，对原始热数据进行时域均匀欠采样，其采样率分别设定为10％、20％
和50％，其相应地提高红外热像仪的帧频率为10倍、5倍和2倍，以此来构造观测张量；同时设定初始tucker秩仍为(10,10,10)，最大tucker秩仍为(85,95,65)，参数ρ仍为0.01，容差ε也为2
×
10-4
。
[0091]
步骤2，输入上述的已设定参数，并再次设定最大迭代数为500，初始化矩阵因子和通过交替方向乘子法更新xn，通过sylvester矩阵方程来更新yn，通过下式更新l。
[0092][0093]
通过实施上述重建过程可获得图4中(b)所示的重建热图像，由于锁相热成像是一种激励持续时间较长的动态调制热成像模式，可抑制噪声并提高信噪比，因此可在原始热图像图4中(a)中观测到较清晰的次表面缺陷物理信息。
[0094]
步骤3，采用所提出的基于多项式的时间插值算法对低帧率的热图像序列进行多项式插值处理，可获得图4中(d)的重建图像。
[0095]
步骤4，利用局部自适应阈值法分别对由步骤4中的低秩张量填充算法所重建的热图像(即图4中(b))，以及由步骤3中的基于多项式的时间插值算法所重建的热图像(即图4中(d))，进行二值化分割处理以自动识别次表面缺陷形貌和其相应的位置，其分别如图4中(c)和图4中(e)所示。
[0096]
步骤5，基于像素值最小原理对分割后重建热图像图4中(c)和图4中(e)进行图像融合，获得热对比度可显著增强的融合图像图4中(f)。与脉冲热成像不同的是，对于锁相热成像，由所提出的热对比度增强时间插值法所获得的重建热图像的热对比度主要由时间插值法所重建热图像来决定，且都具有总体上好于原始热图像和其它重建热图像的缺陷次表面缺陷识别结果；此时热图像上像素值仍即为该时刻缺陷区的实时表面温度信息。
[0097]
图5为不同采样率下碳纤维增强复合板次表面缺陷的锁相热数据分别在缺陷像素与完整像素的重建时域热响应；仍可发现即使在采样率仅为10％的情况下，也可以很好地重构原始正弦调制热响应，此时对应于将红外热像仪帧频率提高了10倍。因此，可知通过所提出的热对比度增强时间插值算法一种数据驱动的帧频率提高方法，不仅可将脉冲热成像下红外热像仪帧频率提高至少10倍，也可将锁相热成像下红外热像仪帧频率提高至少10倍。
[0098]
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。