一种基于改进Convnext网络的指纹活性检测方法

本发明涉及计算机，尤其涉及基于神经网络的指纹活性检测技术，具体涉及一种基于改进convnext网络的指纹活性检测方法。

背景技术：

1、生物识别技术在解锁手机和建筑授权等日常应用中日益依赖，这凸显了此类安全系统的漏洞。由于指纹是最著名的生物特征类型，在过去的几年中，它们被广泛应用于安全和法医应用。采用指纹识别的生物识别方法来确定某个人的独特个性。自动指纹识别是一种生物识别技术，在过去几十年里广泛应用于认证系统中，由于其易于操作而受到欢迎。指纹欺骗攻击出现和表示攻击。这些攻击可以通过多种方法来实现，但不限于，从日常材料和指纹目标的3d打印模型中制造手指状物体。假伪造被定义为通过使用另一个用户的伪造身份来避开生物识别系统的技术。如果不能防止此类伪造，可能会对拥有内置生物识别安全系统设备的用户或组织产生毁灭性的影响，比如泄露机密数据或金钱、删除重要信息，或在社交媒体平台上进行身份盗窃。表示攻击可以定义为由于生物识别传感器或生物识别在识别过程中的漏洞而发生在生物识别传感器级别的攻击。is o在2016年发布了一项关于生物识别攻击的标准，并将表示攻击定义为“以可能干扰生物识别系统预期策略的方式，将人工制品或人类特征呈现给生物识别捕获子系统”。这种攻击的一类是生物特征欺骗攻击。生物识别欺骗攻击包括使用人工人工制品，以操纵系统提供假阳性结果。

2、另外，近年来深度学习已经成为一系列模式识别应用的强大工具，包括分类、检测、分割和控制问题。由于其数据驱动的性质和大规模并行计算的可用性，深度神经网络在大多数领域取得了最先进的结果。研究人员已经做了许多努力来提高性能。这十年来，深度学习发展迅速，各种网络模型层出不穷，从alexnet的引入开创计算机视觉时代再到resnet不断扩展功能提高效率。因此convnets在计算机视觉中的完全主导地位并不是巧合：在许多应用场景中，“滑动窗口”策略是视觉处理所固有的，特别是在处理高分辨率图像时。convnets有几个内置的归纳偏差，使它们非常适合各种计算机视觉应用。

3、现有技术的缺陷与不足：

4、1.现有的深度学习指纹活性检测方法难以控制网络层级，不能很好的控制梯度流动，导致训练效果较差。

5、2.现有方法缺乏较大感受野的特征提取模块，不能充分基于深度学习的方法提取指纹图像全局特征信息。

技术实现思路

1、本发明的目的是为了解决现有技术存在的卷积运算量大，增加了网络开销，并且单通道特征和卷积核大小提取不够充分的技术问题，而提供的一种基于改进convnext网络的指纹活性检测方法。

2、为了解决上述技术问题，本发明采用的技术方案为：

3、一种基于改进convnext网络的指纹活性检测方法，包括以下步骤：

4、步骤1：将数据集分为训练集和测试集，进行预处理；

5、步骤2：对训练集和测试集做预处理，包括roi提取，裁剪，翻转，归一化；

6、步骤3：搭建瓶颈特征注意力模块bfa，搭建dc模块；

7、步骤4：基于步骤3所搭建的模块，搭建改进的convnext网络架构；

8、步骤5：输入指纹图像至改进后的网络并得到分类结果。

9、在步骤1中，将数据集分为训练集和测试集，放在不同的文件夹当中，对指纹图像进行roi提取，采用人工标注的方式，框选出每一个指纹图像的roi区域，随后对指纹图像进行中心裁剪，以图像中心为准，获取周围224像素大小的图像，例如指纹中心像素坐标点为(x，y)，则得到的新的图像左上左下右上右下的坐标点为(x-112，y-112)，(x+112，y-112)，(x-112，y+112)，(x+112，y+112)，之后对裁剪后的图像进行归一化处理。

10、在步骤2中，对指纹图像进行预处理，首先是提取指纹roi区域，roi提取采用人工标注数据集的方法，对每张图片的指纹区域进行人为筛选，并生成新的图片，以此来得到roi指纹图像，随后对指纹图像进行中心裁剪，以图像中心为准，获取周围224像素大小的图像，例如指纹中心像素坐标点为(x，y)，则得到的新的图像左上左下右上右下的坐标点为(x-112，y-112)，(x+112，y-112)，(x-112，y+112)，(x+112，y+112)，之后对裁剪后的图像进行归一化处理。

11、在步骤3中，所述瓶颈特征注意力模块bfa具体为：

12、首先输入进入第1个卷积层，进行一次卷积，第1个卷积层的输出进入第1个深度可分离卷积层，进行深度可分离卷积，第1个深度可分离卷积层得到的输出进入最大池化层，进行最大池化操作，最大池化层的输出进入第2个卷积层，再进行一次卷积，第2个卷积层的输出进入第2个深度可分离卷积层，进行深度可分离卷积，第2个深度可分离卷积层的输出与第2个卷积层的输出相加，得到新的输出；相加之后的输出进入平均池化层，进行平均池化，平均池化后得到的输出进入第3个卷积层，进行卷积，第3个卷积层得到的输出与第1个深度可分离卷积层的输出相加，得到新的输出；相加之后的输出进入第3个深度可分离卷积层，进行深度可分离卷积，第3个深度可分离卷积层得到的输出与第1个卷积层得到的输出相加，得到新的输出，该输出即为一个bfa模块的输出结果。

13、在步骤3中，所述dc模块具体为：

14、模块输入双通道进行特征处理，双通道包括左通道、右通道，在左通道中，输入首先进入第1个卷积层，进行卷积，第一个卷积层得到的输出进入第2个卷积层，进行卷积，第2个卷积层得到的输出进入ema模块进行处理，ema模块的输出与第二条通道的第2个全连接层的输出进行点乘，点乘得到的输出进入第3个卷积层，进行卷积，第3个卷积层得到的卷积进入第4个卷积层，进行卷积，得到第一条通道的输出；

15、在右通道中，输入首先进入平均池化层，进行平均池化，平均池化层得到的输出进入第1个部分卷积层，进行部分卷积，第1个部分卷积得到的输出进入第1个全连接层，进行处理，第1个全连接层得到的输出进入第2个全连接层，进行处理，第2个全连接层得到的输出与第一条通道当中的第4个卷积的输出进行点乘，得到第二条通道的输出；第一条通道的输出和第二条通道的输出进行加和，得到的相加后的输出进入softmax层，进行处理；softmax层得到的输出即为dc模块的输出。

16、在步骤4中，构建的改进的convnext网络具体为：

17、输入首先进入macro design层，得到的输出进入resnext，resnext层的输出进入inverted bottleneck，invertedbottleneck层的输出进入dc模块，dc模块的输出进入large kernel层，large kernel层的输出进入micro design层，micro design的输出即为整个算法的输出。

18、dc模块在使用时，对于给定的输入特征图f∈rc×h×w，dc模块推断出一个3d注意图m(f)∈rc×h×w；细化后的特征图f的计算方法为：

19、f＝softmax(f1+f2)

20、其中，softmax为分类函数，为f1左通道的输出，f2为右通道的输出；

21、其中f1，f2的获取方式为：

22、f1＝conv(conv(e1×e2))

23、f2＝f1×e2

24、其中e1表示左通道ema模块的输出，e2表示右通道第二个全连接层的输出，conv代表卷积，批量归一化和relu激活函数；

25、其中e1的获取方式为：

26、e1＝ema(conv(conv(f)))

27、其中ema表示ema注意力机制；

28、其中e2的获取方式为：

29、e2＝fc(fc(pconv(avgpool(f))))

30、其中fc代表全连接层，pconv表示部分卷积，avgpool表示平均池化；

31、其中ema模块计算流程如下：

32、在传统的网络模块中，采用多重组卷积会导致堆叠更多的深度卷积对象，不仅会丢失原有的一些图像特征，还会消耗大量的内存和计算资源。为了解决这个问题，本文对ema模块[4]进行了结构上的优化改进，来取代原始efficientnetv2-s网络中的重复堆叠卷积计算。该模块对指纹特征映射域进行处理。采用并行子网的方式，可以使得每个子网关注到不同的感受野，增强网络对特征的感知能力。

33、采用并行子网的方式，需要先对不同子网的特征进行划分。对于任何给定的输入特征映射ema根据跨通道维度方向的x划分为g个子特征，用于学习不同的语义特征，其中x＝[x0,x1,x2,...,xg-1],通常g的取值要小于通道数，本文中g取8。

34、巨大的局部感受野使得模块收集多尺度的信息，因此ema采用三条平行路线提取分组特征图的注意力权重描述符。2条路径为1×1路径，1条路径为3×3路径。在1×1路径上，不采用卷积，仅采用1d全局平均池化对h和w两个方向上的信息进行处理，这种池化可以更好地注意到局部信息。在3×3路径上，采用卷积核为3的卷积操作捕获更多的特征。在1×1和3×3卷积当中，采用c//g的形式代替原有的通道数，与ca注意力相似的是，将两个1d全局平均池化处理过后的结果沿高度的方向拼接起来，在用1×1卷积分解成两个向量，利用sigmoid函数拟合卷积后的二维二项分布。在用常规的乘法将两个1×1通道的信息聚合起来，3×3通道用于扩大特征空间。这样该模块能够对信道间信息进行编码已调整信道的重要性，将空间结构信息保存到信道中。

35、跨空间信息聚合的方法可以使得该模块提取到更丰富的局部感受野信息，利用二维全局平均池化对1×1支路的输出进行全局空间信息编码，再转换为其对应的维度形状，如式(7)所示。

36、

37、在3×3支路中，同样使用二维全局平均池化对全局空间信息进行编码，对其输出采用二维高斯采用斯映射的非线性函数softmax进行拟合线性变换。为了捕获指纹图像像素级别的关系，采用sigmoid函数对相乘过后的输出特征映射进行计算，最终的输出大小与输入相同。

38、其中pconv来自论文《run,don’twalk:chasinghigherflopsforfasterneuralnetworks》，是一种新型的卷积方式，在输入通道的一部分上应用常规conv进行空间提取，并保持其余通道不变，对于连续或规则的内存访问，将第一个或最后一个连续的通道视为整个特征图的代表进行计算。在不丧失一般性的情况下认为输入和输出特征图具有相同数量的通道。因此，pconv的flops是常规卷积的1/16，计算公式如下：

39、h×w×(k2×cp×c+c×(c-cp))

40、此外，pconv的内存访问量较小，是常规卷积的1/4，该结构可以很好地减少计算冗余和内存访问，计算公式如下：

41、

42、其中，h代表图片的高度，w代表图片的宽度，k是卷积核的大小，c是整张图像全部的通道数，cp是做卷积操作的通道数。对于卷积计算量的减小可以很好地节约计算资源，提高系统运算速度，较小硬件的计算负担。

43、在瓶颈特征注意力模块bfa中，最大池化层计算公式如下：

44、out(ni,cj,h,w)＝input(ni,cj,stride[0]×h,stride[1]×w)

45、其中ni代表输入进来的批次数，cj代表输入的通道数，h代表输出的高度，w代表输出的宽度，stride是一个1×2的数组，参数自行设定，stride[0]指的是第一个步长设置的值；stride[1]指的是第二个步长设置的值；

46、平均池化计算公式如下：

47、

48、其中ni代表输入进来的批次数，cj代表输入的通道数，h代表输出的高度，w代表输出的宽度，stride是一个1×2的数组，参数自行设定，stride[0]指的是第一个步长设置的值；stride[1]指的是第二个步长设置的值，k是核大小，用于控制池化倍数；

49、与现有技术相比，本发明具有如下技术效果：

50、1)本发明在原始的convnext网络中引入dc(dual channel featureprocessing，双通道特征处理)模块，以进一步提高指纹活性检测任务的分类精度。该模块能够有效地提取指纹图像的局不同感受野大小的特征信息，并设计了交互学习的结构，使得网络。通过dc模块，网络可以动态地调整每个通道提取的特征信息感受野的大小，以提高网络的泛化性。这样可以更准确地捕捉到活体指纹和伪造指纹之间的细微差异。相比传统方法，本研究所提出的模块在指纹活性检测任务中表现出更好的性能。

51、2)本研究对原始convnext网络结构中的结构进行了改进，提出了新的bfa模块，通过残差连接来提取图像特征。此改进后的结构能够更好地捕捉图像的不同层级的信息，并进一步提高系统的泛化性能。本发明的改进bfa，通过三级残差连接，与传统卷积方式相结合，网络可以更充分地感知不同深度大小的图像信息，改善了提取到深层次特征后丢失了较低维度信息的特点，从而提取图像特征。这有助于增强系统对整体图像结构的理解和表达能力。通过这一改进，我们进一步提高了系统的泛化性能。系统能够更好地适应不同的检测场景和样本变化，具备更强的鲁棒性和适应性。

52、3)本发明对测试样本的分类效果优秀，可以用于指纹活性检测任务，实验结果优于现有的方法。