结合表观相似度与奇异点匹配个数的手指静脉识别方法与流程

1.本发明涉及手指静脉识别技术领域，尤其是涉及结合表观相似度与奇异点匹配个数的手指静脉识别方法及系统。


背景技术：

2.目前针对手指静脉识别的方法主要分为深度学习方法和传统方法两大类，深度学习方法主要有基于神经网络的自学习特征提取方法，该方法是基于对海量指静脉图像数据的学习，在深度框架理论约束下对多层网络参数调整，建立输入、输出之间的最佳非线性拟合网络，完成以图像分类为目标的指静脉识别。传统方法基于特征提取，主要有基于纹路特征提取方法，通过从指静脉灰度图像中提取出静脉网络，表达出指静脉整体的拓扑结构，计算静脉网络特征距离进行识别。基于纹理特征提取方法，使用lbp(局部二值模式)或ldp(局部导数模式)表达提取静脉的纹理特征，利用目标间纹理二值特征的距离差异对指静脉图像进行识别。基于细节点特征提取方法，通过提取指静脉图像中的分叉点、端点等细节点及其位置信息来描述指静脉主要特征，利用目标间细节点特征的距离差异对指静脉图像进行识别。还有基于统计特征提取方法，通过对批量指静脉图像的统计分析获取到指静脉识别的统计特征，使用pca(主成分分析)、lda(线性判别分析)和onpp(正交邻域保持投影)等方法对指静脉图像的感兴趣区域进行降维获得可靠的统计特征，利用目标间统计特征的距离差异对指静脉图像进行识别。
3.然而，上述各种方法中，易受指静脉图像采集过程中的手指姿态不同以及低质量图像的影响，导致细节点特征无法提取或提取不正确，影响识别性能。


技术实现要素：

4.有鉴于此，本发明提供了结合表观相似度与奇异点匹配个数的手指静脉识别方法及系统，能够有效地解决由于指静脉采集时手指姿态不同导致识别率较低的问题。
5.为此，本发明提供了以下技术方案：
6.一方面，本发明提供了一种结合表观相似度与奇异点匹配个数的手指静脉识别方法，包括以下步骤：
7.获取用于手指静脉识别的数据集，并对数据集中的各幅图像进行预处理；所述数据集中包括测试图像和多幅带有图像标签的模板图像；
8.针对经过预处理的每幅模板图像：
9.基于空间重叠金字塔与正交局部保留投影降维分别得到经过预处理的测试图像与所述模板图像的特征，并基于所述特征计算所述测试图像与所述模板图像之间的表观相似度；计算经过预处理的测试图像与所述模板图像的奇异点匹配个数，并基于所述奇异点匹配个数计算所述测试图像和所述模板图像之间的奇异点匹配个数相似度；将所述测试图像与所述模板图像的表观相似度和奇异点个数相似度进行加权融合，得到所述测试图像与所述模板图像的加权匹配分数；加权匹配分数score计算公式如下：score＝d
×
λ (1
‑
pro)
×
(1
‑
λ)；其中λ为加权值；d为测试图像和模板图像的表观相似度，pro为测试图像和模板图像的奇异点匹配个数相似度；
10.对所述测试图像与所有模板图像的加权匹配分数值进行分类，分类结果所对应的图像标签即为识别结果。
11.进一步地，对数据集中的各幅图像进行预处理，包括：
12.将图像统一为指尖朝上方向，并转化为灰度图像，进行高斯滤波后对图像进行边缘检测，得到图像对应的手指边缘二值图像；
13.确定手指边缘二值图像中手指两侧边缘线之间的中线，基于中线判断图像是否倾斜；
14.若图像倾斜，则计算图像的倾斜角度并矫正，对矫正后的图像再次进行边缘检测，得到手指边缘的二值图像；
15.对手指边缘二值图像在垂直方向上进行投影，分别求出左右两个投影峰值的列坐标，对两个列坐标之间的区域进行截取，获得感兴趣区域。
16.进一步地，基于空间重叠金字塔与正交局部保留投影降维分别得到经过预处理的测试图像与所述模板图像的特征，并基于所述特征计算所述测试图像与所述模板图像之间的表观相似度，包括：：
17.采用多方向像素差矢量特征提取与学习方法分别对经过预处理的测试图像和所述模板图像进行特征提取与学习，得到所述测试图像和所述模板图像的映射矩阵w和码本d；
18.分别构建所述测试图像和所述模板图像的空间重叠金字塔，得到所述测试图像和所述模板图像的直方图特征表示；
19.使用正交局部保留投影分别对所述测试图像的直方图进行降维；
20.计算所述测试图像和所述模板图像降维后的特征之间的余弦距离，将所述余弦距离作为所述测试图像与所述模板图像的表观相似度。
21.进一步地，分别构建所述测试图像和所述模板图像的空间重叠金字塔，得到所述测试图像和所述模板图像的直方图特征表示，包括：
22.对于已获得的所述测试图像和所述模板图像的多方向像素差矢量特征，分别通过各自的映射矩阵w映射为低维二进制特征b；
23.为所述测试图像和所述模板图像分别构建三层金字塔，将每层图像按固定大小划分为局部重叠的块，第1、2、3层图像的块数量分别为1、4、16；
24.对图像四条边界进行扩充边界处理，扩充方法选择填0扩充；第1层图像不分块，不做扩边处理，第2、3层图像扩充后大小为：
25.(w w/2
l
‑1)
×
(h h/2
l
‑1),l＝2,3；
26.其中，w是原图的宽度，h是原图的高度，l为图像层数。
27.对每层图像进行分块，第l层图像中划分块的大小为：
[0028][0029]
第2、3层水平方向相邻两块之间重叠的局部区域大小为：
[0030]
(w/2
l
‑1)
×
(h/2
l
‑2),l＝2,3；
[0031]
第2、3层垂直方向相邻两块之间重叠的局部区域大小为：
[0032]
(w/2
l
‑2)
×
(h/2
l
‑1),l＝2,3；
[0033]
计算不同层中各个子块图像的b与码本d的欧式距离，统计不同层中各个子块的特征直方图；
[0034]
将每层中获得的直方图串联起来，并且给每层赋给相应的权重，第1、2、3层的权重分别为1/4，1/4，1/2，将不同层的直方图特征按照第3层、第2层、第1层的顺序串联起来。
[0035]
进一步地，计算经过预处理的测试图像与所述模板图像的奇异点匹配个数，并基于所述奇异点匹配个数计算所述测试图像和所述模板图像之间的奇异点匹配个数相似度，包括：
[0036]
对所述测试图像和所述模板图像进行奇异点检测；
[0037]
以提取到的每一个奇异点为中心，取20
×
20像素大小的区域，将所述区域降采样至5
×
5大小，取其像素值生成一个25维的特征向量，并对所述特征向量做归一化处理作为该奇异点的特征；
[0038]
对所述测试图像和所述模板图像提取到的奇异点的特征，计算所述测试图像中每个奇异点特征与所述模板图像中所有奇异点特征之间的欧式距离并升序排列，计算最小距离与第二小距离的比值r，当r＜0.5时认为所述测试图像与所述模板图像有匹配的奇异点，并统计匹配的奇异点的个数；
[0039]
计算匹配的奇异点个数占测试图像奇异点总个数的比例，作为所述测试图像和所述模板图像的奇异点匹配个数相似度。
[0040]
进一步地，分类方法为k近邻法。
[0041]
进一步地，λ取0.5。
[0042]
进一步地，使用sobel算子进行边缘检测。
[0043]
进一步地，采用harris角点检测进行奇异点检测。
[0044]
又一方面，本发明还提供了一种结合表观相似度与奇异点匹配个数的手指静脉识别系统，所述系统包括：
[0045]
预处理模块，用于获取用于手指静脉识别的数据集，并对数据集中的各幅图像进行预处理；所述数据集中包括测试图像和多幅带有图像标签的模板图像；
[0046]
相似度计算模块，用于针对所述预处理模块得到的经过预处理的每幅模板图像，进行相似度计算，包括：表观相似度计算子模块、奇异点匹配个数相似度计算子模块以及加权匹配分数计算子模块；
[0047]
所述表观相似度计算子模块，用于基于空间重叠金字塔与正交局部保留投影降维分别得到经过预处理的测试图像与所述模板图像的特征，并基于所述特征计算所述测试图像与所述模板图像之间的表观相似度；
[0048]
所述奇异点匹配个数相似度计算模块，用于计算经过预处理的测试图像与所述模板图像的奇异点匹配个数，并基于所述奇异点匹配个数计算所述测试图像和所述模板图像之间的奇异点匹配个数相似度；
[0049]
所述加权匹配分数计算子模块，用于将所述测试图像与所述模板图像的表观相似度和奇异点个数相似度进行加权融合，得到所述测试图像与所述模板图像的加权匹配分
数；加权匹配分数score计算公式如下：score＝d
×
λ (1
‑
pro)
×
(1
‑
λ)；其中λ为加权值；d为测试图像和模板图像的表观相似度，pro为测试图像和模板图像的奇异点匹配个数相似度；
[0050]
手指静脉识别模块，用于对所述相似度计算模块得到的所述测试图像与所有模板图像的加权匹配分数值进行分类，分类结果所对应的图像标签即为识别结果。
[0051]
与现有技术相比，上述技术方案的优点和积极效果：
[0052]
上述技术方案中，结合测试图像与模板图像之间的表观相似度和奇异点匹配个数相似度进行手指静脉识别，一方面，手指姿态不同在静脉图像中表现为手指静脉的平移，空间金字塔给直方图特征加上了空间位置信息，但对平移敏感，所以采用空间重叠金字塔，块之间的空间重叠部分可以解决一定程度内的平移问题；另一方面，奇异点匹配个数，因为是对特征点进行匹配，所以不受到图像平移的影响。因此，两者结合能够有效地解决由于指静脉采集时手指姿态不同导致识别率较低的问题。
附图说明
[0053]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0054]
图1为本发明实施例中一种结合表观相似度与奇异点匹配个数的手指静脉识别方法的流程图；
[0055]
图2为本发明实施例中空间金字塔示意图；
[0056]
图3为本发明实施例中同一手指采集姿态不同的模板图像；
[0057]
图4为本发明实施例中同一手指采集姿态不同的测试图像。
具体实施方式
[0058]
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
[0059]
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0060]
参见图1，其示出了本发明实施例中一种结合表观相似度与奇异点匹配个数的手指静脉识别方法的流程图，该方法包括：
[0061]
s1、获取手指静脉图像数据集，并对数据集中的手指静脉图像进行预处理；
[0062]
其中，该数据集中包括测试图像和多幅带有图像标签的模板图像。
[0063]
在具体实施时，s1包括以下步骤：
[0064]
s11、检测手指边缘；
[0065]
将数据集中所有图像统一为指尖朝上方向，并转化为灰度图像，进行高斯滤波后对图像进行边缘检测，得到手指边缘二值图像。优选地，本发明实施例中使用sobel算子检测手指两侧边缘。
[0066]
s12、确定图像中手指两侧边缘线之间的中线；
[0067]
对边缘检测后的手指边缘二值图像，选取图像的前五行区域和最后五行区域，分别计算各区域中边缘线的行、列坐标的均值并向上取整作为两区域的中点坐标，过两中点作连线，其斜率即为b。
[0068]
计算两中点最大列坐标与最小列坐标之间的差值，如果差值小于10个像素，认为图像正常，如果差值超过10个像素，认为图像倾斜。
[0069]
s13、若图像倾斜，则计算图像的倾斜角度并矫正；
[0070]
其中，图像的倾斜角度α计算公式如下：
[0071]
α＝arctan(b)/360/2π。
[0072]
求出倾斜角度后，基于该倾斜角度对倾斜的图像进行矫正，具体为：若角度为正，将图像顺时针旋转该角度，若角度为负，将图像逆时针旋转该角度。
[0073]
s14、获取图像的感兴趣区域。
[0074]
正常图像不需再次进行边缘检测，矫正后的图像需再次使用sobel边缘检测获取手指边缘的二值图像。对手指边缘二值图像在垂直方向上进行投影，分别求出左右两个投影峰值的列坐标，对两个列坐标之间的区域进行截取获得感兴趣区域。
[0075]
s2、基于空间重叠金字塔与正交局部保留投影(olpp，orthogonal locality preserving projection)降维计算经过预处理的测试图像与每幅模板图像之间的表观相似度；
[0076]
在具体实施时，s2包括以下具体步骤：
[0077]
s21、对经过预处理的测试图像和每幅模板图像进行特征提取与学习；
[0078]
优选地，采用多方向像素差矢量特征提取与学习方法得到映射矩阵w和码本d。
[0079]
s22、构建空间重叠金字塔，并基于空间重叠金子塔获得测试图像和每幅模板图像的直方图特征表示；
[0080]
在具体实施时，s22可以按照以下步骤执行：
[0081]
1)对于已获得的多方向像素差矢量特征，通过映射矩阵w映射为低维二进制特征b。
[0082]
2)为每幅图像构建三层金字塔，将每层图像按固定大小划分为局部重叠的块，第1、2、3层图像的块数量分别为1、4、16，空间重叠金字塔如图2所示。
[0083]
对图像四条边界进行扩充边界处理，扩充方法选择填0扩充，第1层图像不分块所以不做扩边处理，第2、3层图像扩充后大小为：
[0084]
(w w/2
l
‑1)
×
(h h/2
l
‑1),l＝2,3；
[0085]
其中，w是原图的宽度，h是原图的高度，l为图像层数。
[0086]
然后对每层图像进行分块，第l层图像中划分块的大小为：
[0087][0088]
第2、3层水平方向相邻两块之间重叠的局部区域大小为：
[0089]
(w/2
l
‑1)
×
(h/2
l
‑2),l＝2,3；
[0090]
第2、3层垂直方向相邻两块之间重叠的局部区域大小为：
[0091]
(w/2
l
‑2)
×
(h/2
l
‑1),l＝2,3；
[0092]
3)计算不同层中各个子块图像的b与码本d的欧式距离，统计不同层中各个子块的特征直方图。
[0093]
4)将每层中获得的直方图串联起来，并且给每层赋给相应的权重，第1、2、3层的权重分别为1/4，1/4，1/2，最后将不同层的直方图特征按照第3层、第2层、第1层的顺序串联起来。
[0094]
s23、使用olpp对获取的特征进行降维；
[0095]
在获得图像的直方图特征表示之后，使用olpp将特征维度降至70维。
[0096]
s24、计算余弦距离作为表观相似度
[0097]
对测试图像i
t
和模板图像i
g
的空间金字塔直方图经olpp降维后的特征i
t
和i
g
，计算二者之间的余弦距离d，将该余弦距离作为表观相似度，计算公式如下：
[0098][0099]
s3、基于奇异点匹配个数进行相似度计算；
[0100]
在具体实施时，s3包括以下具体步骤：
[0101]
s31、对测试图像和模板图像进行奇异点检测；
[0102]
优选地，本发明实施例中采用harris角点检测进行奇异点检测。
[0103]
s32、对检测出的奇异点进行特征描述；
[0104]
以提取到的每一个奇异点为中心，取20
×
20像素大小的区域，将该区域降采样至5
×
5大小，取其像素值生成一个25维的特征向量，并对向量做归一化处理作为该奇异点的特征。
[0105]
s33、计算测试图像和模板图像的奇异点匹配个数；
[0106]
对测试图像和模板图像提取到的奇异点特征，计算测试图像中每个奇异点特征与模板图像中所有奇异点特征之间的欧式距离并升序排列，计算最小距离与第二小距离的比值r，当r＜0.5时认为测试图像与模板图像有匹配的奇异点，并统计匹配的奇异点的个数n。
[0107]
s34、计算奇异点匹配个数的相似度；
[0108]
计算匹配点个数占测试图像奇异点总个数n的比例pro，作为两图的奇异点匹配个数的相似度：
[0109]
pro＝n/n。
[0110]
需要说明的是，在具体执行时，s2和s3的执行顺序任意，可以先执行s2，再执行s3，也可以先执行s3，再执行s2，还可以同时执行s2和s3，此处不做限制。
[0111]
s4、对表观相似度和奇异点个数相似度进行加权融合，计算测试图像和所有模板图像的加权匹配分数；
[0112]
加权匹配分数score计算公式如下：
[0113]
score＝d
×
λ (1
‑
pro)
×
(1
‑
λ)；
[0114]
其中λ为加权值，优选0.5。
[0115]
s5、对测试图像与所有模板图像的加权匹配分数值进行分类，分类结果所对应的图像标签即为测试图像的识别结果。
[0116]
优选地，分类方法可以为knn(k
‑
nearest neighbor,k近邻法)。
[0117]
上述实施例中，结合测试图像与模板图像之间的表观相似度和奇异点匹配个数相似度进行手指静脉识别，一方面，手指姿态不同在静脉图像中表现为手指静脉的平移，空间金字塔给直方图特征加上了空间位置信息，但对平移敏感，所以采用空间重叠金字塔，块之间的空间重叠部分可以解决一定程度内的平移问题；另一方面，奇异点匹配个数，因为是对特征点进行匹配，所以不受到图像平移的影响。因此，两者结合能够有效地解决由于指静脉采集时手指姿态不同导致识别率较低的问题。
[0118]
在一具体实施例中，采用以下数据集：
[0119]
图像类别/类每类样本个数/个受试者/人样本总数/个84614504
[0120]
采集到的指静脉图像原图尺寸为256
×
320，经尺寸归一化和roi区域提取后图像尺寸为120
×
260。图3和图4为同一根手指在不同采集姿态下的模板图像与测试图像，(a)为正常姿态下采集的指静脉图像，(b)、(c)、(d)为手指发生轴向左旋时采集的指静脉图像，(e)、(f)为手指发生轴向右旋时采集的指静脉图像。
[0121]
1)测试图与模板图间手指姿态差别较小的指静脉图像识别，如图3和图4中对应的两个(a)、(b)、(c)、(d)、(e)、(f)之间的识别，正确率为100％。
[0122]
2)测试图与模板图间手指姿态差别较大的指静脉图像识别，如图3和图4中除对应标号相同之外的两幅图像之间的识别，数据集中的测试正确率为98.016％。图示例中，测试图(a)与模板图(e)、测试图(b)与模板图(a)、测试图(c)与模板图(b)、测试图(d)与模板图(c)、测试图(e)与模板图(f)、测试图(f)与模板图(e)之间均可正确识别。
[0123]
3)该方法针对手指姿态不同产生的平移及轴向旋转的指静脉图像有良好的识别效果，具有较强的实用性。
[0124]
对应本发明中的结合表观相似度与奇异点匹配个数的手指静脉识别方法，本发明还提供了结合表观相似度与奇异点匹配个数的手指静脉识别系统，该系统包括：
[0125]
预处理模块，用于获取用于手指静脉识别的数据集，并对数据集中的各幅图像进行预处理；所述数据集中包括测试图像和多幅带有图像标签的模板图像；
[0126]
相似度计算模块，用于针对所述预处理模块得到的经过预处理的每幅模板图像，进行相似度计算，包括：表观相似度计算子模块、奇异点匹配个数相似度计算子模块以及加权匹配分数计算子模块；
[0127]
所述表观相似度计算子模块，用于基于空间重叠金字塔与正交局部保留投影降维分别得到经过预处理的测试图像与所述模板图像的特征，并基于所述特征计算所述测试图像与所述模板图像之间的表观相似度；
[0128]
所述奇异点匹配个数相似度计算模块，用于计算经过预处理的测试图像与所述模板图像的奇异点匹配个数，并基于所述奇异点匹配个数计算所述测试图像和所述模板图像
之间的奇异点匹配个数相似度；
[0129]
所述加权匹配分数计算子模块，用于将所述测试图像与所述模板图像的表观相似度和奇异点个数相似度进行加权融合，得到所述测试图像与所述模板图像的加权匹配分数；加权匹配分数score计算公式如下：score＝d
×
λ (1
‑
pro)
×
(1
‑
λ)；其中λ为加权值；d为测试图像和模板图像的表观相似度，pro为测试图像和模板图像的奇异点匹配个数相似度；
[0130]
手指静脉识别模块，用于对所述相似度计算模块得到的所述测试图像与各个模板图像的加权匹配分数值进行分类，分类结果所对应的图像标签即为识别结果。
[0131]
对于本发明实施例的结合表观相似度与奇异点匹配个数的手指静脉识别系统而言，由于其与上面实施例中的结合表观相似度与奇异点匹配个数的手指静脉识别方法相对应，所以描述的比较简单，相关相似之处请参见上面实施例中结合表观相似度与奇异点匹配个数的手指静脉识别方法部分的说明即可，此处不再详述。
[0132]
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。