一种基于ShuffleNet-SSD的手势识别方法及系统

一种基于shufflenet-ssd的手势识别方法及系统
技术领域
1.本发明属于计算机视觉领域，主要涉及一种基于shufflenet-ssd的手势识别方法及系统。


背景技术：

2.手势作为最符合人类习惯的交互方式，在虚拟仿真领域有着不错的表现。随着对交互体验感越来越高的追求，也对应用于手势交互中的手势识别技术提出了更高的要求。
3.目前，基于深度学习的手势识别方法主要分为两类:：双步算法和单步算法。双步算法将识别过程分为两个阶段，首先产生候选区域，然后对候选区域分类，这类算法的典型代表是r-cnn系算法，如r-cnn，sppnet，fast r-cnn，faster r-cnn，fpn，r-fcn等。单步算法不需要产生候选区域阶段，它直接产生物体的类别概率和位置坐标值，经过单次检测即可直接得到最终的检测结果，因此有着更快的检测速度，比较典型的算法如yolo，ssd，retina-net。其中ssd是一种非常优秀的手势识别方法，ssd算法使用vgg16网络进行特征提取，该模型虽然有较好的表现，但结构臃肿、参数数量多，降低了模型检测的速度。对于人机交互来说，由于空间、成本等限制以及对实时性的要求，需要进一步对ssd算法进行优化。
4.非最大抑制(non-maximum suppression,nms)是手势识别中重要的组成部分。nms算法首先按照得分从高到低对检测框进行排序，然后分数最高的检测框被选中，其他框与被选中框有明显重叠的框被抑制。该过程被不断递归的应用于其余检测框。根据算法的设计，如果一个物体处于预设的重叠阈值之内，可能会导致检测不到该待检测物体。即当两个目标框接近时，分数更低的框就会因为与之重叠面积过大而被删掉。


技术实现要素：

5.本发明的目的是针对现有技术的不足，提供一种基于shufflenet-ssd的手势识别方法。
6.本发明包括以下步骤：
7.步骤(1)、采集手势图像，将其转换为224*224的固定尺寸，并对其进行标签标注，并以训练集与测试集为9:1的比例构建数据集；
8.步骤(2)、构建shufflenet-ssd网络模型；
9.shufflenet-ssd网络包括特征提取网络shufflenet、软化非极大值抑制块soft-nms；
10.作为优选，shufflenet网络利用分组卷积以及通道乱序的思想，在小型网络中具有良好的表现。分组卷积通过确保每个卷积操作仅作用于对应的输入通道分组来大幅降低计算成本，通道乱序可使分组卷积从不同的组中获取到输入数据，避免了某个通道的输出仅来自输入通道的一小部分。shufflenet网络中包含两个单元，分别为步长为1的shufflenet单元和步长为2的shufflenet单元。
11.所述步长为1的shufflenet单元使用了一个1*1的分组卷积，接着进行通道乱序操
作，之后进行一个3*3逐深度卷积，接下来第二个的分组卷积恢复通道维度。与此同时，在每个卷积层后都接一个bn层，第一个分组卷积之后除了bn层还需要一个relu函数。
12.所述步长为2的shufflenet单元在上述步长为1的shufflenet单元旁路上增加了3*3平均池化层，并将加操作替换为级联操作，增加维度。
13.所述特征提取网络shufflenet网络结构，包括conv1层、maxpool层、stage2层、stage3层、stage4层。
14.所述conv1层将输入为224*224大小的图像经3*3卷积输出为112*112特征图至maxpool层；
15.所述maxpool层将112*112特征图经最大值池化输出为56*56特征图至stage2层；
16.所述stage2层包含1次步长为2的shufflenet单元与3次步长为1的shufflenet单元，输出28*28的特征图至stage3层；
17.所述stage3层包含1次步长为2的shufflenet单元与7次步长为1的shufflenet单元，输出14*14的特征图至stage4层；
18.所述stage4层包含1次步长为2的shufflenet单元与3次步长为1的shufflenet单元，输出7*7的特征图。
19.所述软化非极大值抑制块soft-nms用于对特征提取网络shufflenet输出的特征图中的检测框进行高度重叠剔除；
20.作为优选，相较于传统的nms算法，首先按照得分从高到低对检测框进行排序，然后分数最高的检测框被选中，其他框与被选中建议框有明显重叠的框被抑制。该过程被不断递归的应用于其余检测框。根据算法的设计，如果一个物体处于预设的重叠阈值之内，可能会导致检测不到该待检测物体。soft-nms在算法执行过程中不是简单的对iou大于给定阈值的检测框删除，而是降低得分。soft-nms算法核心思想为
21.si
←
sif(iou(m，bi))(1)
22.式中，m是特征提取网络shufflenet输出的特征图中检测框集合，bi为除最高置信度框外其他框，si为得分，f(iou(m,bi))为权重函数，该函数会衰减与检测框m有重叠的相邻检测框的检测分数，越是与m高度重叠的检测框,它们的分数衰减越严重，iou和阈值的结果作为降低得分si的依据,最后设置阈值,将得分si小于阈值的去掉。本发明选用的权重函数为高斯函数，公式如下所示：
[0023][0024]
其中，d为经过soft-nms抑制的检测框，σ为人为指定参数，si为当前检测框得分。
[0025]
步骤(3)、训练shufflenet-ssd模型，并对其进行参数调整与优化；
[0026]
步骤(4)、利用已经训练好的shufflenet-ssd模型实现手势的识别。
[0027]
本发明的另一个目的是提供一种基于shufflenet-ssd的手势识别系统，包括：
[0028]
数据集制作模块，制作用于训练shufflenet-ssd的训练集；
[0029]
模型训练模块，用于将所述训练集中预处理后的手势图像输入到shufflenet-ssd模型并进行训练；
[0030]
手势识别模块，用于通过训练好的shufflenet-ssd模型对待识别的手势进行预测
并产生识别结果。
[0031]
本发明的有益效果是：
[0032]
1)本发明提出轻量级网络框架代替vgg16框架，减少计算消耗资源。通过shufflenet网络进行特征提取，提升识别精度，降低消耗资源。
[0033]
2)提出使用soft-nms函数，在提高识别精度的同时，仅需要对传统的nms算法进行简单的改动且不增额外的参数。该soft-nms算法具有与传统nms相同的算法复杂度，但其使用更为高效。
附图说明
[0034]
图1手势识别流程图；
[0035]
图2shufflenet-ssd网络结构图；
[0036]
图3步长为1的shufflenet单元示意图；
[0037]
图4步长为2的shufflenet单元示意图。
具体实施方式
[0038]
下面结合附图对本发明做进一步的分析。
[0039]
一种基于shufflenet-ssd的手势识别方法包括以下步骤：
[0040]
步骤(1)、采集手势图像，将其转换为224*224的固定尺寸，并对其进行标签标注，并以训练集与测试集为9:1的比例构建数据集；
[0041]
步骤(2)、构建shufflenet-ssd网络模型；
[0042]
如图2-4，shufflenet-ssd网络包括shufflenet网络、软化非极大值抑制块soft-nms；shufflenet网络利用分组卷积以及通道乱序的思想，在小型网络中具有良好的表现。分组卷积通过确保每个卷积操作仅作用于对应的输入通道分组来大幅降低计算成本，通道乱序可使分组卷积从不同的组中获取到输入数据，避免了某个通道的输出仅来自输入通道的一小部分。shufflenet网络中包含两个单元，分别为图3所示步长为1的shufflenet单元和图4所示步长为2的shufflenet单元。其中shufflenet网络结构包括conv1层、maxpool层、stage2层、stage3层、stage4层。所述conv1层将输入为224*224大小的图像经3*3卷积输出为112*112特征图至maxpool层；
[0043]
所述maxpool层将112*112特征图经最大值池化输出为56*56特征图至stage2层；
[0044]
所述stage2层包含1次步长为2的shufflenet单元与3次步长为1的shufflenet单元，输出28*28的特征图至stage3层；
[0045]
所述stage3层包含1次步长为2的shufflenet单元与7次步长为1的shufflenet单元，输出14*14的特征图至stage4层；
[0046]
所述stage4层包含1次步长为2的shufflenet单元与3次步长为1的shufflenet单元，输出7*7的特征图。
[0047]
上述各层输出特征图均输入ssd预测模块，之后通过软化非极大值抑制块soft-nms输出结果。
[0048]
步骤(3)、训练shufflenet-ssd模型，并对其进行参数调整与优化；
[0049]
步骤(4)、利用已经训练好的shufflenet-ssd模型实现手势的识别。
[0050]
上述实施例并非是对于本发明的限制，本发明并非仅限于上述实施例，只要符合本发明要求，均属于本发明的保护范围。