热流体图像处理方法、系统、终端及介质与流程

1.本发明涉及热流体的图像处理技术领域，具体地，涉及一种基于方向梯度直方 图特征的热流体图像处理方法、系统、终端及介质。


背景技术：

2.基于光学诊断技术获得热流体的实验数据不仅有助于热流体方面的机理研究， 而且对于仿真模型的建立和标定也具有重要意义。各种各样的光学测量方法被开发 并应用于热流体的相关特性研究，已广泛应用于定容燃烧弹、光学发动机、激波管 和快压机等来测量热流体的宏观和微观特性，包括但不限于米氏散射、背光法、阴 影法、纹影法、激光诱导荧光、紫外/可见吸收与散射技术等，而对于这些光学测量 方法所获得的数字图像的分析，目标识别、边缘检测、图像分割、轮廓提取是其中 必不可少的一步。对于测量热流体宏观特性或微观特性的数字图像，若分割不准确， 则提取的信息会包含错误或是不需要的信息，因此从光学测试获得的图像中准确地 划分出待检测目标的区域至关重要。
3.目前常用的热流体图像处理方法通常通过计算待检测图像和背景图像之间的 差异，然后通过选取阈值对它们进行二值化来完成图像分割，当待检测区域和背景 区域的亮度值之间的差异较大时，此方法是简单有效的。但是，在高环境压力和高 环境密度下(比如类发动机工况)，环境密度梯度的时空变化将转换为图像中纹理 的变化，环境气体的纹理变成了复杂的随时间变化的背景噪声，使得图像变得不易 识别和分割，大大增加了目标识别、边缘检测、图像分割、轮廓提取的难度，在这 种情况下，仅从待检测图像和背景图像相减并选择阈值将无法获得所需的效果，因 此需要开发更好的图像分割方法。然而，目前所开发的面向热流体图像分割的处理 方法都或多或少存在一些问题和缺点：(1)步骤较多，处理过程复杂，不够简单； (2)在每个步骤中都有人为设定的若干个阈值、校正因子等，不够方便；(3)处 理结果对于阈值以及其他参数的选择非常敏感，稍有设置不当就会得到不理想的结 果；(4)许多方法只能处理背景较为干净或是有一点噪音但是不明显(环境密度10kg/m3以下)的情况，当待检测区域和背景区域的强度差异不明显时，所识别的 边界将是模糊不请的；(5)开发的方法在处理某个案例和工况时效果好，但是换一 个环境、工况、光学系统会出现处理效果不佳的情况，需要重新确定阈值和一些人 为设置的参数，通用性不够；(6)对于高背景噪音或是背景随帧变化的图像，处理 效果一般，准确性差。
4.综上所述，现有的热流体图像处理方法存在步骤复杂、不够方便、通用性不够、 处理效果准确性差等问题，目前没有发现同本发明类似技术的说明或报道，也尚未 收集到国内外类似的资料。


技术实现要素：

5.本发明针对现有技术中存在的上述不足，提供了一种基于方向梯度直方图特征 的热流体图像处理方法、系统、终端及介质。
6.根据本发明的一个方面，提供了一种热流体图像处理方法，包括：
7.将按照时间序列排列的多张热流体图像分别划分为包含需要检测识别的热流 体的待检测图和不包含需要检测识别的热流体的背景图，并分别提取所述待检测图 和所述背景图各个像素点的方向梯度直方图特征；
8.计算所述待检测图和所述背景图中各个像素点在同一个位置上的方向梯度直 方图特征之间的差异，得到方向梯度直方图特征的差异图；
9.对所述差异图进行二值化处理，判断每一个像素点是否属于目标区域，并根据 判断结果将所述差异图分割为目标区域和背景区域，并提取出目标区域的轮廓，完 成对所述热流体图像的处理。
10.优选地，所述分别提取所述待检测图和所述背景图各个像素点的方向梯度直方 图特征，包括：
11.对所述待检测图i和所述背景图bk上的每一个像素点(i，j)，分别以该像素 点(i，j)为中心，获取该像素点(i，j)周围的n
×
n区域作为该像素点(i，j)的 基元c(i，j)，对所述待检测图和所述背景图进行基元分割；
12.对每一个所述基元c(i，j)的灰度值进行伽马校正，取平方根得到：对得到的每一个基元c
′
(i，j)中的每个像素c
′
(i，j)
(m，n)分别进行水平梯度g
x(i，j)
(m，n)和垂直梯度的计算；将同一个像素的水平梯度g
x(i，j)
(m，n)和垂直梯度进行矢量合成，得到每一个像素在 二维平面中的梯度大小和梯度方向；
13.将梯度方向的取值范围[0
°
，360
°
)分为n类，其中n为所要得到的方向梯度直方 图特征的维数，每一维对应一个纬度；将所述基元c
′
(i，j)中的每个像素 c
′
(i，j)
(m，n)的梯度方向分别按照角度分类并分入各个纬度，将分为同一个纬 度的所有像素的梯度大小进行叠加，即得到所要得到的方向梯度直方图特征在该纬 度的值，进而得到各个基元对应的方向梯度直方图特征h
(i，j)
。
[0014]
优选地，所述n
×
n的取值为：(2z 1)
×
(2z 1)，z为正整数。
[0015]
优选地，所述对得到的每一个基元c
′
(i，j)中的每个像素c
′
(i，j)
(m，n)分 别进行水平梯度g
x(i，j)
(m，n)的计算，包括：
[0016]
设置像素c
′
(i，j)
(m，n)的第一侧为正，使用该像素c
′
(i，j)
(m，n)正侧 相邻的像素c
′
(i，j)
(m，n 1)的值减去该像素c
′
(i，j)
(m，n)与第一侧相对的 第二侧相邻的像素c
′
(i，j)
(m，n
‑
1)的值得到水平梯度；
[0017]
所述对得到的每一个基元c
′
(i，j)中的每个像素c
′
(i，j)
(m，n)分别进行 垂直梯度的计算，包括：
[0018]
设置像素c
′
(i，j)
(m，n)的第三侧为正，使用该像素c
′
(i，j)
(m，n)的正 侧相邻的像素c
′
(i，j)
(m 1，n)的值减去该像素与第三侧相对的第四侧相邻的像 素c
′
(i，j)
(m
‑
1，n)的值得到垂直梯度。
[0019]
优选地，所述将梯度方向的取值范围[0
°
，360
°
)分为n类，其中每一类对应的取 值范围为(360/n)
°
，n个类包括：[0
°
，360/n
°
)，[360/n
°
，2
×
360/n
°
)，[2
×
360/n
°
， 3
×
360/n
°
)，
……
，[(n
‑
1)
×
360/n
°
，360
°
)。
[0020]
优选地，所述方法，还包括：
[0021]
将各个基元对应的方向梯度直方图特征h
(i，j)
在所有纬度上进行归一化处理，使 得每个基元的方向梯度直方图特征在各个纬度上的值的总和为1，得到归一化后的 方向梯度直方图特征hn，其中每个纬度对应的方向梯度直方图特征的值其中每个纬度对应的方向梯度直方图特征的值
[0022]
优选地，所述计算所述待检测图和所述背景图各个像素点在同一个位置上的方 向梯度直方图特征之间的差异包括：采用p阶差异计算方法，计算所述待检测图和 所述背景图上同一位置的像素点(i，j)的方向梯度直方图特征hn
i
(i，j)和hn
bk
(i， j)之间的差异性：
[0023][0024]
其中，p为正整数，i为方向梯度直方图特征的各个纬度。
[0025]
优选地，所述p取值为1，则：
[0026]
diff
l1
＝||hn
i
‑
hn
bk
||1＝∑
i
|hn
i
(i)
‑
hn
bk
(i)|1)，diff
l1
∈[0，2]。
[0027]
优选地，所述对所述差异图进行二值化处理，判断每一个像素点是否属于目标 区域，并对每一个像素点进行分类，得到目标区域和背景区域，完成对差异图的分 割，并提取出目标区域的轮廓；其中，分割出的所述背景区域用于动态背景校正更 新，提取的所述轮廓用于相关特性参数的测量与计算。
[0028]
优选地，所述动态背景校正更新，包括：
[0029]
将按照时间序列排列的多张热流体图像中待检测图之前的最后图像bk_01作为 第一张背景图，基于第一张背景图bk_01和第一个待检测图i_01进行图像处理以 检测第一个待检测图i_01上的目标区域和背景区域，完成第一个待检测图i_01的 分割；
[0030]
将第一个待检测图i_01上背景区域中的像素放置在第一张背景图bk_01中的 同一位置以完成背景更新校正，第一张背景图bk_01在完成背景更新后的图像即为 第二张背景图bk_02；
[0031]
获取第二张背景图bk_02，基于第二张待检测图i_02和第二张背景图bk_02 进行图像处理以检测第二张待检测图i_02上的目标区域和背景区域，完成下一个待 检测图的分割；
[0032]
依此类推，直至完成所有热流体图像中所有待检测图的分割。
[0033]
根据本发明的另一个方面，提供了一种热流体图像处理系统，包括：
[0034]
方向梯度直方图特征提取模块，该模块将若干热流体图像分别划分为包含需要 检测识别的热流体的待检测图和不包含需要检测识别的热流体的背景图，并分别提 取所述待检测图和所述背景图各个像素点的方向梯度直方图特征；
[0035]
差异图计算模块，该模块计算所述待检测图和所述背景图中各个像素点在同一 个位置上的方向梯度直方图特征之间的差异，得到方向梯度直方图特征的差异图；
[0036]
图像处理模块，该模块对所述差异图进行二值化处理，判断每一个像素点是否 属于目标区域，并根据判断结果将所述差异图分割为目标区域和背景区域，并提取 出目标区域的轮廓，完成对所述热流体图像的处理。
[0037]
根据本发明的第三个方面，提供了一种终端，包括存储器、处理器及存储在存 储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时可用于执行 上述任
一项所述的方法，或，运行上述的系统。
[0038]
根据本发明的第四个方面，提供了一种计算机可读存储介质，其上存储有计算 机程序，该程序被处理器执行时可用于执行上述任一项所述的方法，或，运行上述 的系统。
[0039]
由于采用了上述技术方案，本发明与现有技术相比，具有如下至少一项的有益 效果：
[0040]
本发明提供的热流体图像处理方法、系统、终端及介质，基于方向梯度直方图 (histogram of oriented gradient，hog)特征，可以处理背景较为干净及高背景噪声 情况下的热流体图像，通过提取待检测图片和背景图片的hog特征能够在方向梯 度直方图上比较两者，hog特征的差异性比原本的亮度值的差异性更能清晰地反映 出目标区域和背景区域的区别，将目标区域和背景区域之间的差异性和可区分性放 大，便于将待检测图片分割并提取目标对象的轮廓，且所提出的方法对于参数设置 的敏感性低，通用性好，能够面向不同的案例、工况和光学系统，程序易于实现， 处理速度快，处理结果准确可靠。
[0041]
本发明提供的热流体图像处理方法、系统、终端及介质，可以处理不同情况下 的热流体图像(包括背景干净的情况和高背景噪声、静态背景和动态背景、不同的 光学系统、测试方法等)，通过提取待检测图片和背景图片的hog特征能够在方向 梯度直方图上比较两者，hog特征的差异性比原本的亮度值的差异性更能清晰地反 映出目标区域和背景区域的区别，将目标区域和背景区域之间的差异性和可区分性 放大，便于将待检测图片分割并提取目标对象的轮廓。
[0042]
本发明提供的热流体图像处理方法、系统、终端及介质，能够完成在背景和待 检测目标在图像上差别不大时的困难分割任务，且相较于现有方案处理效果非常好， 所提出的方法对于参数设置的敏感性低，通用性好，能够面向不同的案例、工况和 光学系统，程序易于实现，处理速度快，处理结果准确可靠。
附图说明
[0043]
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、 目的和优点将会变得更明显：
[0044]
图1为本发明一实施例中热流体图像处理方法流程图。
[0045]
图2为本发明一优选实施例中热流体图像处理方法流程图。
[0046]
图3为本发明一具体应用实施例中作为处理对象的热流体图像案例示意图；其 中，(a)为发动机燃油喷雾的喷射发展图像，(b)为背景图。
[0047]
图4为本发明一具体应用实施例中方向梯度直方图(hog)特征提取步骤示意 图。
[0048]
图5为本发明一具体应用实施例中方向梯度直方图(hog)特征差异计算步骤 示意图。
[0049]
图6为本发明一具体应用实施例中二值化、分割、轮廓提取步骤示意图。
[0050]
图7为本发明一优选实施例中热流体图像处理方法的效果和传统的处理方法 (通过背景图与待检测图的亮度值做差，再通过阈值选取进行分割)的效果的对比 示意图；
[0051]
图8为本发明一实施例中热流体图像处理系统组成模块示意图。
具体实施方式
[0052]
下面对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实 施，给出了详细的实施方式和具体的操作过程。应当指出的是，对本领域的普通技术人 员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发 明的保护范围。
[0053]
图1为本发明一实施例提供的热流体图像处理方法流程图。
[0054]
如图1所示，该实施例提供的热流体图像处理方法，可以包括如下步骤：
[0055]
s100，将按照时间序列排列的多张热流体图像(图像序列)分别划分为包含需 要检测识别的热流体的待检测图和不包含需要检测识别的热流体的背景图，并分别 提取待检测图和背景图各个像素点的方向梯度直方图特征；
[0056]
s200，计算待检测图和背景图中各个像素点在同一个位置上的方向梯度直方图 特征之间的差异，得到方向梯度直方图特征的差异图，即每一个像素点的特征差异 的集合；
[0057]
s300，对差异图进行二值化处理，判断每一个像素点是否属于目标区域，并根 据判断结果将差异图分割为目标区域和背景区域，并提取出目标区域的轮廓，完成 对热流体图像的处理。
[0058]
在该实施例的s100中，作为一优选实施例，分别提取待检测图和背景图各个 像素点的方向梯度直方图特征，可以包括如下步骤：
[0059]
s101，对待检测图i和背景图bk上的每一个像素点(i，j)，分别以该像素点 (i，j)为中心，获取该像素点(i，j)周围的n
×
n区域作为该像素点(i，j)的基 元c(i，j)，对待检测图和背景图进行基元分割；
[0060]
s102，对每一个基元c(i，j)的灰度值进行伽马校正，取平方根得到：对得到的每一个基元c
′
(i，j)中的每个像素c
′
(i，j)
(m，n)分别进行水平梯度 g
x(i，j)
(m，n)和垂直梯度的计算；将同一个像素的水平梯度 g
x(i，j)
(m，n)和垂直梯度进行矢量合成，得到每一个像素点 在二维平面中的梯度大小和梯度方向；
[0061]
s103，将梯度方向的取值范围[0
°
，360
°
)分为n类，其中n为所要得到的方向梯 度直方图特征的维数，每一维对应一个纬度；将基元c
′
(i，j)中的每个像素的梯度方向分别按照角度分类并分入各个纬度，将分为同一个纬 度的所有像素的梯度大小进行叠加，即得到所要得到的方向梯度直方图特征在该纬 度的值，进而得到各个基元对应的方向梯度直方图特征h
(i，j)
。
[0062]
在该实施例的s101中，作为一优选实施例，n
×
n的取值可以为：(2z 1)
×
(2z 1)， z为正整数。
[0063]
在该优选实施例的具体应用实例中，n
×
n的取值可以为：3
×
3、5
×
5、7
×
7、9
×
9、 11
×
11、13
×
13、
……
。
[0064]
在该实施例的s101中，作为一具体应用实例，n
×
n的取值可以优选为：3
×
3。
[0065]
在该实施例的s102中，作为一优选实施例，对每一个基元c
′
(i，j)中的每个 像素
c
′
(i，j)
(m，n)分别进行水平梯度g
x(i，j)
(m，n)的计算，可以包括如下 步骤：
[0066]
设置像素c
′
(i，j)
(m，n)的第一侧为正，使用该像素c
′
(i，j)
(m，n)正侧 相邻的像素c
′
(i，j)
(m，n 1)的值减去该像素c
′
(i，j)
(m，n)与第一侧相对的 第二侧相邻的像素c
′
(i，j)
(m，n
‑
1)的值得到水平梯度。
[0067]
在该实施例的s102中，作为一优选实施例，对每一个基元c
′
(i，j)中的每个 像素c
′
(i，j)
(m，n)分别进行垂直梯度的计算，可以包括如下 步骤：
[0068]
设置像素c
′
(i，j)
(m，n)的第三侧为正，使用该像素c
′
(i，j)
(m，n)的正 侧相邻的像素c
′
(i，j)
(m 1，n)的值减去该像素与第三侧相对的第四侧相邻的像 素c
′
(i，j)
(m
‑
1，n)的值得到垂直梯度。
[0069]
在该实施例的s103中，作为一优选实施例，方向梯度直方图特征的维数n可 以将梯度的方向范围[0
°
，360
°
)分为n类，其中每一类对应的取值范围为(360/n)
°
， n个类别可为但不局限于：[0
°
，360/n
°
)，[360/n
°
，2
×
360/n
°
)，[2
×
360/n
°
， 3
×
360/n
°
)，
……
，[(n
‑
1)
×
360/n
°
，360
°
)。
[0070]
在该优选实施例中，进行分类的目的就是为了获得方向梯度直方图特征，进而 将获得的方向梯度直方图特征用于计算待检测图和背景图各个像素点在同一个位 置上的方向梯度直方图特征之间的差异。
[0071]
在该实施例的s103中，作为一具体应用实例，n取值可选为但不局限于6～12， 进一步优选地，该取值可以为9。
[0072]
在该实施例的s103中，作为一优选实施例，还可以包括：
[0073]
将各个基元对应的方向梯度直方图特征h
(i，j)
在所有纬度上进行归一化处理，使 得每个基元的方向梯度直方图特征在各个纬度上的值的总和为1，得到归一化后的 方向梯度直方图特征hn，其中每个纬度对应的方向梯度直方图特征的值其中每个纬度对应的方向梯度直方图特征的值
[0074]
在该实施例的s200中，作为一优选实施例，计算待检测图和背景图各个像素 点在同一个位置上的方向梯度直方图特征之间的差异，其具体方法优选为但不局限 于如下步骤：
[0075]
采用p阶差异计算方法，计算待检测图和背景图上同一位置的像素点(i，j) 的方向梯度直方图特征hn
i
(i，j)和hn
bk
(i，j)之间的差异性：
[0076][0077]
其中，p为正整数，i为方向梯度直方图特征的各个纬度。
[0078]
在该实施例的s200中，作为一优选实施例，推荐采用但不局限于1，作为优选 的方案，采用1阶差异计算，则：
[0079]
diff
l1
＝||hn
i
‑
hn
bk
||1＝∑
i
|hn
i
(i)
‑
hn
bk
(i)|1)，diff
l1
∈[0，2]。
[0080]
在该实施例的s300中，作为一具体应用实例，对差异图进行二值化处理，判 断每一个像素点是否属于目标区域，并对每一个像素点进行分类，得到目标区域和 背景区域，完成对差异图的分割，分割出的背景区域用于动态背景校正更新，并提 取出目标区域的轮廓，提取的轮廓用于相关特性参数的测量与计算。
[0081]
在该实施例的s300中，作为一优选实施例，动态背景校正更新，包括：
[0082]
将按照时间序列排列的多张热流体图像(图像序列)中待检测图之前的最后图 像bk_01作为第一张背景图，基于第一张背景图bk_01和第一个待检测图i_01进 行图像处理以检测第一个待检测图i_01上的目标区域和背景区域，完成第一个待检 测图i_01的分割；
[0083]
将第一个待检测图i_01上背景区域中的像素放置在第一张背景图bk_01中的 同一位置以完成背景更新校正，第一张背景图bk_01在完成背景更新后的图像即为 第二张背景图bk_02；
[0084]
获取第二张背景图bk_02，基于第二张待检测图i_02和第二张背景图bk_02 进行图像处理以检测第二张待检测图i_02上的目标区域和背景区域，完成下一个待 检测图的分割；
[0085]
依此类推，直至完成对图像序列中所有待检测图的分割。
[0086]
图2为本发明一优选实施例提供的热流体图像处理方法流程图。该优选实施例 提供的热流体图像处理方法，基于方向梯度直方图特征，用于对光学测试得到的热 流体的数字图像进行处理，对待检测区域和背景区域进行目标识别、边缘检测、分 割、提取轮廓。
[0087]
如图2所示，该优选实施例提供的热流体图像处理方法，可以包括如下步骤：
[0088]
s1：方向梯度直方图(hog)特征提取，主要包括a.基元划分、b.梯度大小和 方向计算、c.方向直方图分类叠加步骤，分别对待检测图和背景图各个像素点的hog 特征进行提取(待检测图一般为包含有需要检测识别的热流体的图像，背景图为不 包含需要检测识别的热流体的图像)，为后续的第二步差异性计算做准备。
[0089]
s2：方向梯度直方图(hog)特征差异计算，计算待检测图和背景图各个像素 点的hog特征之间的差异性，hog特征的差异性比原本的亮度值的差异性更能清 晰地反映出待检测区域和背景区域的区别，将两者之间的差异性和可区分性放大， 便于后续的二值化、分割和轮廓提取。
[0090]
s3：二值化、分割、轮廓提取，对s2所得到的反应差异性的图像进行二值化 处理，即对像素点进行分类，分为目标区域和背景区域，完成分割，分割出的背景 区域用于动态背景校正更新，并可以提取出目标区域的轮廓，所提取的轮廓可用于 相关特性参数的测量与计算。
[0091]
动态背景校正更新的方式具体如下，起初将图像序列中待检测图像之前的最后 图像(不包含待检测目标)用作初始背景(可以标记为bk_01，即第一张背景图)， 基于bk_01和第一个待检测图像(i_01)进行图像处理以检测i_01上的目标区域和 背景区域，完成分割，然后，将i_01图像上背景区域中的像素放置在bk_01中的 同一位置以完成背景更新校正从而得到第二张背景图bk_02，下一个图像分割将基 于第二张待检测图像i_02和第二张背景图bk_02进行，依此类推，使用动态背景 校正更新可以更好地一一完成所有图像序列的分割。
[0092]
作为一优选实施例，步骤s1方向梯度直方图(hog)特征提取中，对待检测 图片i和背景图片bk上各个像素(i，j)分别进行hog特征提取，提取每个像素 的hog特征时，进行s1
‑
a.基元划分，选取以该点(i，j)为中心的附近n
×
n区域 (3
×
3，5
×
5，7
×
7等)作为像素(i，j)基元c(i，j)，对于边界处的像素，可 以通过复制值等方法补足周围来填充。
[0093]
作为一优选实施例，步骤s1方向梯度直方图(hog)特征提取中，在s1
‑
a.基 元划分
中基元大小可选为3
×
3，可以减小计算量。
[0094]
作为一优选实施例，步骤s1方向梯度直方图(hog)特征提取中，在进行s1
‑
b. 梯度大小和方向计算之前，通常对原始图像的灰度值进行伽马校正，取平方根进行后续的梯度计算。
[0095]
作为一优选实施例，步骤s1方向梯度直方图(hog)特征提取中，在s1
‑
a.基 元划分后，进行s1
‑
b.梯度大小和方向计算，首先对每一个基元c
′
(i，j)中每个单 元(像素)c
′
(i，j)
(m，n)分别进行水平梯度g
x(i，j)
(m，n)和垂直梯度的计算。
[0096]
作为一优选实施例，步骤s1
‑
b.梯度大小和方向计算中，在对每一个单元(像素) c
′
(i，j)
(m，n)进行水平梯度g
x(i，j)
(m，n)计算时，设置向右为正，使用该 单元(像素)右侧相邻的单元(像素)c
′
(i，j)
(m，n 1)的值减去该单元(像素) 左侧相邻的单元(像素)c
′
(i，j)
(m，n
‑
1)的值得到水平梯度，在对单元(像素) c
′
(i，j)
(m，n)进行垂直梯度计算时，设置向下为正，使用该 单元(像素)下侧相邻的单元(像素)c
′
(i，j)
(m 1，n)的值减去该单元(像素) 上侧相邻的单元(像素)c
′
(i，j)
(m
‑
1，n)的值得到垂直梯度。
[0097]
作为一优选实施例，步骤s1
‑
b.梯度大小和方向计算中，将计算得到的水平梯度 和垂直梯度进行矢量合成，得到在二维平面中的梯度大小和方向，并且可以用极坐 标(ρ，θ)表示，其中ρ表示所合成的梯度的大小，θ表示所合成的梯度的方向，此时步 骤s1
‑
b.梯度大小和方向计算完成，n
×
n基元中的每一个单元(像素)都对应一个梯 度大小和方向。
[0098]
作为一优选实施例，步骤s1方向梯度直方图(hog)特征提取中，在s1
‑
b.梯 度大小和方向计算后，进行s1
‑
c.方向直方图分类叠加，在该步骤中，首先将梯度方 向的取值范围[0
°
，360
°
)分为n类，n即为hog特征的维数，，每一维对应一个纬度， 然后将s1
‑
b.梯度大小和方向计算中得到的基元中各个单元(像素)的梯度方向按照 角度进行分类分入各个纬度，接着将分为同一个类别(纬度)的所有单元(像素) 的梯度大小叠加得到hog特征在该纬度的值，通过该步骤可以得到各个基元对应 的hog特征h
(i，j)
。
[0099]
作为一优选实施例，步骤s1
‑
c.方向直方图分类叠加中，hog特征的维数设置 为9维，此时9个类别分别对应范围为40
°
的区间，可以按照基元中每个单元的梯 度方向所属于的范围将每个单元分入对应纬度。
[0100]
作为一优选实施例，步骤s1
‑
c.方向直方图分类叠加中，可以将得到的hog特 征h在所有纬度上进行归一化处理，使得每个基元(像素)的hog特征在各个纬 度上的值的总和为1，得到归一化后的hog特征hn，其中每个纬度对应的值 [0101]
作为一优选实施例，在步骤s1方向梯度直方图(hog)特征提取之后，进行 s2方向梯度直方图(hog)特征差异计算，计算待检测图和背景图上同一位置(i， j)的像素点的hog特征(hn
i
(i，j)和hn
bk
(i，j))之间的差异性。
[0102]
作为一优选实施例，步骤s2方向梯度直方图(hog)特征差异计算中，差异 计算可以采取计算p阶(lp
‑
norm)差异的方式，公式为||hn
i
‑
hn
bk
||
p
＝ (∑
i
|hn
i
(i)
‑
hn
bk
(i)|
p
)
1/p
，p为正整数，i为hog特征的各个纬度。
[0103]
作为一优选实施例，s2方向梯度直方图(hog)特征差异计算步骤中，差异计 算采取计算1阶(l1
‑
norm)差异的方式，公式为diff
l1
＝||hn
i
‑
hn
bk
||1＝ ∑
i
|hn
i
(i)
‑
hn
bk
(i)|1)，
diff
l1
∈[0，2]。
[0104]
作为一优选实施例，在步骤s2方向梯度直方图(hog)特征差异计算后，得 到待检测图和背景图各个像素的hog特征的差异图，再进行步骤s3二值化、分割、 轮廓提取。
[0105]
作为一优选实施例，步骤s3二值化、分割、轮廓提取中，阈值的选取可以参 考常规的图像处理方法的阈值选取方式。
[0106]
该优选实施例提供的热流体图像处理方法，其核心思想是：通过目标区域和背 景区域在像素亮度梯度方向上的差异性来区分两者，完成分割提取轮廓，在判断某 个像素点是否属于待检测目标/背景时，不是仅仅简单通过该点处的亮度值来判断， 而是结合该像素点及其周围像素点的信息计算梯度的大小和方向，再对所述的方向 梯度直方图特征的差异图进行二值化处理，判断每一个像素是否属于目标区域，， 在某些情况下的边缘检测、区域识别上具有优势。
[0107]
在处理过程中采取动态背景校正更新的方式，用来应对在图像序列中背景区域 发生变化的情况，动态背景校正更新在对每一张待检测图完成处理分割后、对下一 张待检测图进行处理分割前执行。在一些测量中背景的变化不大，可以认为是静态 的，对于静态情况，几幅背景图的平均值可以作为背景图；但是，在一些情况下背 景图的变化较大(例如高温高压的类发动机工况)，如果光学系统是纹影方法甚至 可以看到密度梯度，环境气体在图像背景中的移动非常明显，此时每个图像都需要 一个新的(动态)背景。
[0108]
动态背景校正更新的方式，包括：起初将图像序列中待检测图像之前的最后图 像(不包含待检测目标)用作初始背景(可以标记为bk_01)，基于bk01和第一个 待检测图像(i_01)进行图像处理以检测i_01上的目标区域和背景区域，完成分割， 然后，将i_01图像上背景区域中的像素放置在bk_01中的同一位置以完成背景更 新校正，获取bk_02，下一个图像分割将基于i_02和bk_02进行，依此类推，使用 动态背景校正更新可以更好地一一完成所有图像序列的分割。
[0109]
下面结合附图及一具体应用实例，对本发明上述实施例提供的技术方案进一步 详细说明如下。
[0110]
图3为一具体应用实例中作为处理对象的的热流体图像案例示意图，该组图像 中，(a)为发动机燃油喷雾的喷射发展图像，光学测试方法为纹影，图片序列共50 张，其中第一张为初始背景图片(bk
01
)，其中不包含燃油喷雾，剩余49张为包含 有燃油喷雾(即待检测目标)的待检测图像(i
01
～i
49
)，每张图片的像素分辨率为 112
×
400，灰度值分辨率为8，即[0,255]。(b)为背景图。在一些测量中背景的变化 不大，可以认为是静态的，对于静态情况，几幅背景图的平均值可以作为背景图； 但是，在一些情况下背景图的变化较大(例如高温高压的类发动机工况)，如果光 学系统是纹影方法甚至可以看到密度梯度，环境气体在图像背景中的移动非常明显， 此时每个图像都需要一个新的(动态)背景。
[0111]
对于类似图1的热流体数字图片，对目标区域和背景区域进行识别、边缘检测、 分割、提取轮廓的难度有以下方面：(1)待检测目标区域(燃油喷雾区域)和周围 背景区域在亮度值(灰度值)方面较为接近，尤其是燃油喷雾的气相区域与背景区 域的灰度值差异性非常小，通过亮度值的直接相减比较来找到目标燃油喷雾区域可 能效果不佳；(2)在类发动机工况的高环境压力、高环境密度、高环境温度情况下， 在图片背景中出现了大量的、复杂的背景噪音(如图3中(b)所示)，这些背景噪 音组成复杂纹理结构大大增加了在图片中
识别分割出待检测目标的难度；(3)图片 背景区域是逐帧变化的，这是由于喷雾周围的气流也不可避免地是运动的导致，这 也增加了图像处理的难度。
[0112]
参考图2所示，该具体应用实例提供的热流体图像处理方法，可以完成对类似 图1的复杂困难图像分割任务，包含3个主要步骤，具体如下：
[0113]
s1：方向梯度直方图(hog)特征提取，主要包括a.基元划分、b.梯度大小和 方向计算、c.方向直方图分类叠加步骤，分别对待检测的燃油喷雾图和背景图各个 像素点的hog特征进行提取，为后续的第二步差异性计算做准备。
[0114]
s2：方向梯度直方图(hog)特征差异计算，计算待检测的燃油喷雾图和背景 图各个像素点的hog特征之间的差异性，hog特征的差异性比原本的亮度值的差 异性更能清晰地反映出待检测区域和背景区域的区别，将两者之间的差异性和可区 分性放大，便于后续的二值化、分割和轮廓提取。
[0115]
s3：二值化、分割、轮廓提取，对s2所得到的反应差异性的图像进行二值化 处理，即对像素点进行分类，分为目标喷雾区域和背景区域，完成分割，分割出的 背景区域用于动态背景校正更新，并可以提取出喷雾区域的轮廓，所提取的喷雾轮 廓可用于喷雾相关特性参数的测量与计算。
[0116]
并且，在处理过程中采取动态背景校正更新的方式来应对在图像序列中背景区 域发生变化的情况，此处需要说明的是，在一些测量中背景的变化不大，可以认为 是静态的，对于静态情况，几幅背景图的平均值可以作为背景图；但是，在一些情 况下背景图的变化较大(例如类似图1的类发动机工况)，如果光学系统是纹影方 法甚至可以看到密度梯度，环境气体在图像背景中的移动非常明显，此时每个图像 都需要一个新的(动态)背景。本发明所提出的算法在完成s3二值化、分割、轮 廓提取步骤之后，进行动态背景校正更新，起初将图像序列中待检测的燃油喷雾图 像之前的最后图像(不包含燃油喷雾)用作初始背景(可以标记为bk
01
)，基于bk01 和第一个待检测的燃油喷雾图像(i
01
)进行图像处理以检测i
01
上的目标喷雾区域和 背景区域，完成分割，然后，将i
01
图像上背景区域中的像素放置在bk
01
中的同一 位置以完成背景更新校正，获取bk
02
，下一个图像分割将基于i
02
和bk
02
进行，依 此类推，使用动态背景校正更新可以更好地一一完成所有燃油喷雾图像序列的分割。
[0117]
该具体应用实例所提供的热流体图像处理方法，在步骤s1方向梯度直方图 (hog)特征提取中，对待检测的燃油喷雾图片i和背景图片bk上各个像素(i，j) 分别进行hog特征提取，图4是本发明的步骤s1方向梯度直方图(hog)特征提 取步骤示意图，该示例以处理第49张待检测的燃油喷雾图i
49
时在提取待检测图和 背景图bk
49
的第22行、第207列像素的hog特征为例。
[0118]
该具体应用实例所提供的热流体图像处理方法，在提取每个像素的hog特征 时，进行s1
‑
a.基元划分，选取以该点(i，j)为中心的附近n
×
n区域(3
×
3，5
×
5， 7
×
7等)作为像素(i，j)基元c(i，j)，对于边界处的像素，可以通过复制值等 方法补足周围来填充。本示例中，基元大小为3
×
3，图4中分别展示了和 的具体数值。进行s1
‑
b.梯度大小和方向计算之前，先对原始图像的灰度值 进行伽马校正，取平方根进行后续的梯度计算，如图4中所示。
[0119]
在s1
‑
a.基元划分后，进行s1
‑
b.梯度大小和方向计算，图4中展示了基元 的梯度大小和方向的计算过程，对每一个基元中的9个单元(像素)分别 进行水平梯度和垂直梯度的计算，得到和在对单元(像素)进 行水平梯度计算时，设置向右为正，使用该单元(像素)右侧相邻的单元(像素) 的值减去该单元(像素)左侧相邻的单元(像素)的值得到水平梯度，在对单元(像 素)进行垂直梯度计算时，设置向下为正，使用该单元(像素)下侧相邻的单元(像 素)的值减去该单元(像素)上侧相邻的单元(像素)的值得到垂直梯度。对于边 界处像素，在计算梯度时使用复制值的方法补足周围来填充，如图4中所示，以计 算基元左上角单元值9.33的水平梯度为例，使用右侧像素的值(7.87)减 去左侧通过复制方法填充的值(9.33)得到水平梯度
‑
1.46，垂直梯度则使用下侧的 值(11)减去上侧通过复制方法填充的值(9.33)得到垂直梯度1.67，其他单元的 水平梯度和垂直梯度的计算可以同样相似地完成。
[0120]
接下来，将计算得到的水平梯度和垂直梯度进行矢量合成，得到在二维平面中 的梯度大小和方向，并且可以用极坐标(ρ，θ)表示，其中ρ表示所合成的梯度的大小， θ表示所合成的梯度的方向，以计算基元左上角单元的水平梯度
‑
1.46和垂 直梯度1.67为例，所合成的矢量的大小为矢量方向与水 平向右方向的夹角为131.2
°
，其他单元的水平梯度和垂直梯度的矢量合成可以同样 相似地完成，此时步骤s1
‑
b.梯度大小和方向计算完成，3
×
3基元中的每一个单元(像 素)都对应一个梯度大小和方向，每个基元对应9个矢量，如图4中所示。
[0121]
在s1
‑
b.梯度大小和方向计算后，进行s1
‑
c.方向直方图分类叠加，在该步骤中， 首先将梯度的方向[0
°
，360
°
)分为n类，n即为hog特征的维数，每一维对应一个 纬度，本示例中n为9，此时9个类别分别对应范围为40
°
的区间，然后将s1
‑
b.梯 度大小和方向计算中得到的基元中的9个梯度矢量按照角度进行分类分入各个纬度， 接着将分为同一个类别(纬度)的所有梯度大小叠加得到hog特征在该纬度的值， 例如图4中，待检测燃油喷雾图i
49
中像素(22，207)对应的hog特征在第9纬 度的值为2.01 1.55 3.78＝7.34，是由基元中9个矢量中在[90
°
，130
°
)范围内的3 个矢量叠加得到。通过该步骤可以得到待检测燃油喷雾图基元对应的hog特征 和背景图基元对应的hog特征。可以将得到的hog特征在所有 纬度上进行归一化处理，使得每个基元(像素)的hog特征在各个纬度上的值的 总和为1，得到归一化后的hog特征hn，其中每个纬度对应的值如图4所示，得到待检测图和背景图归一化后的hog特征和也可以用直方图的形式来表示。
[0122]
本发明所提出的方法在步骤s1方向梯度直方图(hog)特征提取之后，进行 s2方向梯度直方图(hog)特征差异计算，计算待检测燃油喷雾图和背景图上同一 位置(i，j)的像素点的hog特征(hn
i
(i，j)和hn
bk
(i，j))之间的差异性， 差异计算可以采取计算p阶(lp
‑
norm)差异的方式，公式为||hn
i
‑
hn
bk
||
p
＝ (∑
i
|hn
i
(i)
‑
hn
bk
(i)|
p
)
1/p
，p为正整数，i为hog特征的各个纬度。
[0123]
如图5所示，为方向梯度直方图(hog)特征差异计算步骤示意图，在s2方向 梯度直
方图(hog)特征差异计算步骤中，差异计算可以采取计算1阶(l1
‑
norm) 差异的方式，公式为diff
l1
＝||hn
i
‑
hn
bk
||1＝∑
i
|hn
i
(i)
‑
hn
bk
(i)|1)， diff
l1
的取值范围为[0，2]，本示例中待检测喷雾图和背景图在像素(22，207)上的 hog特征的差异值为1.854，是通过hog特征的差异值为1.854，是通过hog特征的差异值为1.854，是通过汁算得到。
[0124]
在步骤s2方向梯度直方图(hog)特征差异计算后，可以得到待检测图和背 景图各个像素的hog特征的差异图，如图6中右上角的图所示，该图像素分辨率 与原图分辨率一致，为112
×
400，可以明显看到，该图上待检测目标——燃油喷雾 所在区域的灰度值较高，而背景区域的灰度值较低，两者差异明显，可区分性相较 于原图大大增加，这也是本发明的核心思想的本质原理所在。其核心思想是：通过 目标区域和背景区域在像素亮度梯度方向上的差异性来区分两者，完成分割提取轮 廓，在判断某个像素点是否属于待检测目标/背景时，与传统的方法(基于待检测图 和背景图两者同位置处亮度值的差异来进行二值化、轮廓提取、分割等操作)不同， 不是仅仅简单通过该点处的亮度值来判断，而是结合该像素点及其周围像素点的信 息计算梯度的大小和方向，再对所述的方向梯度直方图特征的差异图进行二值化处 理，判断每一个像素是否属于目标区域。，本专利提出的方法是通过基于待检测图 和背景图两者hog特征之间的差异来进行二值化、轮廓提取、分割等操作，在某 些情况下的边缘检测、区域识别上具有优势。
[0125]
根据待检测燃油喷雾图的hog特征和背景图的hog特征的差异性图，可以进 行步骤s3二值化、分割、轮廓提取，步骤中阈值的选取可以参考常规的图像处理 方法的阈值选取方式，例如otsu阈值分割算法，本示例中所展示案例在处理第49 张燃油喷雾图像和背景图像的hog差异图时的阈值为0.88，图上两者hog特征的 差异值大于0.88的部分被识别为燃油喷雾区域，不大于0.88的部分为背景区域， 其后通过常规的腐蚀填充即可得到目标喷雾区域，提取该区域轮廓可得到目标对象 燃油喷雾的轮廓，该轮廓可以用于喷雾相关特性参数，如贯穿距、锥角、面积等的 计算。
[0126]
如前文，本发明在处理过程中采取动态背景校正更新的方式，如图6中，在i
49
图像分割完成后，将喷雾轮廓以外的背景区域中的像素放置在bk
49
中的同一位置以 完成背景更新校正，获取bk
50
，下一个图像分割将基于i
50
(如有)和bk
50
进行， 依此类推，使用动态背景校正更新可以更好地一一完成所有图像序列的分割。
[0127]
图7展示了本发明上述实施例中的图像处理方法的效果和传统的处理方法(通 过背景图与待检测图的亮度值做差，再通过阈值选取进行分割)的效果的对比，处 理对象为图3(b)中展示的图片(i
49
)，本发明上述实施例中的图像处理方法和特 定步骤如前文所述，并且此处的传统方法也采用了动态背景校正，它们的图像处理 程序之间的唯一区别是，常规方法仅计算每个像素的背景图像和待检测燃油喷雾图 像之间的灰度值差异，而本发明的方法则计算hog特征的差异，传统方法中的阈 值由otsu的阈值方法(otm)、该阈值的2.5倍、5倍来确定，从图中可以看出， 无论怎样选取阈值，通过传统方法提取的喷雾轮廓(在图中以连续等灰度轮廓线表 示)不规则且杂乱，并且边缘存在较大的误差(喷雾的气相区域中的某些像素被识 别为背景而不是喷雾)。这是因为喷雾区域和背景区域的灰度值之间的
差异很小， 因此通过传统方法很难获得准确的目标喷雾轮廓。
[0128]
如图7所示，与传统方法相比，本发明上述实施例提供的方法所识别分割出的 燃油喷雾轮廓(在图中以连续等灰度轮廓线表示)更规则，结果更准确，此外，即 使对于本发明上述实施例提供的图像处理中使用不同的参数(基元大小，hog特征 维数，求差范数)，本发明上述实施例提供的方法都能取得良好的效果，这表明本 发明上述实施例提供的方法具有良好的适应性，更通用。
[0129]
图8为本发明一实施例提供的热流体图像处理系统组成模块示意图。
[0130]
如图8所示，该实施例提供的热流体图像处理系统，可以包括：方向梯度直方 图特征提取模块、差异图计算模块以及图像处理模块；其中：
[0131]
方向梯度直方图特征提取模块，该模块将热流体图像划分为包含需要检测识别 的热流体的待检测图和不包含需要检测识别的热流体的背景图，分别提取待检测图 和背景图各个像素点的方向梯度直方图特征；
[0132]
差异图计算模块，该模块计算待检测图和背景图各个像素点在同一个位置上的 方向梯度直方图特征之间的差异，得到差异图；
[0133]
图像处理模块，该模块对差异图进行二值化处理，将差异图分割为目标区域和 背景区域，并提取出目标区域的轮廓，完成对热流体图像的处理。
[0134]
本发明一实施例提供了一种终端，包括存储器、处理器及存储在存储器上并可 在处理器上运行的计算机程序，处理器执行程序时可用于执行本发明上述实施例中 任一项的方法，或，运行本发明上述实施例中的系统。
[0135]
可选地，存储器，用于存储程序；存储器，可以包括易失性存储器(英文：volatilememory)，例如随机存取存储器(英文：random
‑
access memory，缩写：ram)，如 静态随机存取存储器(英文：static random
‑
access memory，缩写：sram)，双倍数 据率同步动态随机存取存储器(英文：double data rate synchronous dynamicrandom access memory，缩写：ddr sdram)等；存储器也可以包括非易失性存 储器(英文：non
‑
volatile memory)，例如快闪存储器(英文：flash memory)。存储 器用于存储计算机程序(如实现上述方法的应用程序、功能模块等)、计算机指令 等，上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器中。并且 上述的计算机程序、计算机指令、数据等可以被处理器调用。
[0136]
上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器中。并且 上述的计算机程序、计算机指令、数据等可以被处理器调用。
[0137]
处理器，用于执行存储器存储的计算机程序，以实现上述实施例涉及的方法中 的各个步骤。具体可以参见前面方法实施例中的相关描述。
[0138]
处理器和存储器可以是独立结构，也可以是集成在一起的集成结构。当处理器 和存储器是独立结构时，存储器、处理器可以通过总线耦合连接。
[0139]
根据本发明的第四个方面，提供了一种计算机可读存储介质，其上存储有计算 机程序，该程序被处理器执行时可用于执行本发明上述实施例中任一项的方法，或， 运行本发明上述实施例中的系统。
[0140]
本发明上述实施例提供的热流体图像处理方法、系统、终端及介质，基于方向 梯度直方图特征，可对背景中包含待检测目标的数字图像进行处理，首先提取方向 梯度直方图特征，包括基元划分、梯度大小和方向计算、方向直方图分类叠加等步 骤，然后计算方向
梯度直方图特征差异，再进行二值化、分割、轮廓提取等操作， 且该方法涵盖了动态背景校正更新的算法。其核心思想是：通过提取待检测目标区 域和背景区域的方向梯度直方图特征可以增加两者的差异性。本发明上述实施例提 供的热流体图像处理方法、系统、终端及介质，能够应用于热流体的图像处理领域， 对待检测区域和背景区域进行目标识别、边缘检测、分割，在待检测目标和背景的 差异性较小及背景随帧变化的情况下具有优势，且本发明对于参数设置的敏感性低， 通用性好，能够面向不同的案例、工况和光学系统，程序易于实现，处理速度快， 结果准确可靠。
[0141]
需要说明的是，本发明提供的方法中的步骤，可以利用系统中对应的模块、装 置、单元等予以实现，本领域技术人员可以参照方法的技术方案实现系统的组成， 即，方法中的实施例可理解为构建系统的优选例，在此不予赘述。
[0142]
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系 统及其各个装置以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的 系统及其各个装置以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式 微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置可以被 认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部 件内的结构；也可以将用于实现各种功能的装置视为既可以是实现方法的软件模块 又可以是硬件部件内的结构。
[0143]
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上 述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改， 这并不影响本发明的实质内容。