一种基于记忆增强的渐进式学习步态识别方法

1.本发明属于计算机视觉领域，具体涉及一种基于记忆增强的渐进式学习步态识别方法。


背景技术：

2.步态识别被定义为如下问题：从包含行人行走的视频序列识别出行人特定的行走模式并将行人识别出来。步态识别也在很多领域有广泛应用，如智慧城市，安防系统，视频检索等。近年来，主要工作都在通过对人体建模来取得更好的步态识别性能，但是忽略了步态识别中本质的两种难样本问题。
3.由于统计建模的有效性，目前基于学习的方法逐渐被应用到步态识别的任务中。现有的基于深度学习的方法通过输入视频序列，输出行人身份。直接端到端深度学习能够解决基本的特征表达，但是步态识别中的类内难样本和类间难样本给学习本身带来了难度，并且成为了步态识别性能发展的瓶颈之一。


技术实现要素：

4.为解决上述问题，本发明的目的解决步态识别中的难样本问题，并提供一种基于记忆增强的渐进式学习步态识别方法。本发明中，首先，提供了一种建模样本难度的方法，然后结合训练进度和样本难度确定对样本的权重，从而完成了从易到难的渐进式训练流程；此外，此方法还使用记忆体来监督整个训练流程，从而降低学习过程中的难度。
5.为实现上述目的，本发明的技术方案为：
6.一种基于记忆增强的渐进式学习步态识别方法，其包括以下步骤：
7.s1、获取用于训练步态识别模型的训练数据集；
8.s2、建模训练数据集中的样本难度，并根据训练进度和样本难度确定训练数据集中的样本权重；
9.s3、在三元组损失约束基础上结合记忆体对特征空间进行辅助约束，利用所述训练数据集对所述对步态识别模型进行迭代训练，且计算三元组损失时以所述样本权重对正样本和负样本相对于锚点之间的距离进行加权修正；
10.s4、利用训练后的步态识别模型对目标步态数据进行步态识别。
11.作为优选，所述s1中，获取的训练数据集i
train
中包含不同人员在不同视角和不同行走条件下采集的步态视频序列。
12.作为优选，所述s2中，基于各样本与锚点(anchor)的距离建模训练数据集中的样本难度，对于正样本而言，在特征空间中距离锚点越远，难度越大；对于负样本而言，在特征空间中距离锚点越近，难度越大。
13.作为优选，步骤s2中，所述训练数据集中每一个样本x的权重结合当前的模型训练进度和样本难度给样本特定的权重，计算函数如下：
[0014][0015]
其中：σ表示归一化函数，d为距离计算函数，d(f(x
*
),f(x))表示样本x与锚点x
*
之间的距离，δ
t
表示与模型训练的当前迭代次数正相关的模型进度，表示以x
*
为锚点的样本集合。
[0016]
作为优选，所述s3的具体方法如下：
[0017]
s31、设置记忆体m的内容为：
[0018][0019]
其中，s为训练数据集中索引为i的人员id对应的视频序列si中的一段，f(s)为视频序列段s经过特征提取器f提取后得到的特征，ns为视频序列si中的总段数；
[0020]
s32、设置记忆体m的更新策略为：
[0021][0022]
其中，m[i]
t
和m[i]
t-1
分别表示更新后和更新前记忆体m的内容，yb表示当前训练批次中出现过的人员id组成的标签集合，yb表示当前训练批次中样本b的人员id标签，b表示当前训练批次中包含的样本集合，nb表示当前训练批次的大小，f(b)表示样本b经过特征提取器f提取后得到的特征，α和β分别表示两种动量更新的动量超参数；
[0023]
s33、设置记忆体m对整体训练流程的监督信号来约束特征空间的类间分散程度以及类内紧凑性，记忆体监督信号损失的计算公式为：
[0024][0025]
其中，τ是用来平衡特征分布的温度系数，表示当前批次的平均特征；
[0026]
s34、针对三元组中正样本和负样本相对于锚点之间的距离用所述样本权重相乘进行加权修正，并用加权修正后的距离值代替原距离值计算三元组损失，以三元组损失和所述记忆体监督信号损失之和作为总损失，利用所述训练数据集对所述对步态识别模型进行迭代训练直至总损失收敛，得到训练后的步态识别模型。
[0027]
本发明的基于记忆增强的渐进式学习步态识别方法，相比于现在的步态识别方法，具有以下有益效果：
[0028]
首先，本发明的基于记忆增强的渐进式学习步态识别方法解决了步态识别中很本质的难样本问题，即现有步态数据集的存在的难样本给步态识别学习过程带来了很多困
难，本发明通过从易到难的渐进式学习策略来让难易样本的学习目标更加一致，来解决难样本问题。
[0029]
其次本发明提出了基于记忆体的学习增强策略，利用辅助信号对学习过程进行监督，优化特征空间，从而降低了难样本的学习难度，增强了渐进式学习过程，更好地解决难样本问题。
[0030]
最后，本发明在主流数据集上均有大幅提升，尤其是在最复杂的换衣场景中，比之前的方法至少有6.4％的性能提升。与此同时，本方法的学习策略和记忆体还可以很好地迁移到之前被提出的特征提取器上，均有可观的性能提升。
[0031]
本发明的基于记忆增强的渐进式学习步态识别方法，在步态识别领域很好的解决了数据中难样本问题，能够从高类间方差和高类内方差的数据中准确识别出行人，能够有效提高步态识别的准确度和效率，具有良好的应用价值。例如，在城市的智慧安防领域中，本发明的记忆增强的渐进式学习方法可以在复杂换衣、背包场景中比之前方法都有更好的表现，从而更好的识别安防区域的行人身份，为后续的安防任务提供支撑。
附图说明
[0032]
图1为本发明的流程示意图；
[0033]
图2为本发明的渐进式学习示意图；
[0034]
图3为本发明的网络结构示意图；
[0035]
图4为本发明的记忆体更新示意图。
具体实施方式
[0036]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0037]
相反，本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本发明有更好的了解，在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。
[0038]
参考图1，在本发明的较佳实施例中，提供了一种基于记忆增强的渐进式学习步态识别方法，包括以下步骤：
[0039]
s1、获取用于训练步态识别模型的训练数据集。
[0040]
在本实施例中，获取的训练数据集i
train
中包含不同人员(具有唯一人员id)在不同视角和不同行走条件下采集的步态视频序列。训练数据集i
train
可采用casia-b和ou-mvlp等现有数据集实现。
[0041]
s2、建模训练数据集中的样本难度，并根据训练进度和样本难度确定训练数据集中的样本权重。
[0042]
在本实施例中，所谓建模训练数据集中的样本难度，是指定义训练数据集中的每一个样本对于步态识别学习任务而言的难度。三元组由锚点(anchor)、正样本(positive)和负样本(negative)组成，如图2所示，本发明拟通过从易到难的渐进式学习策略来让降低
难样本的学习难度，更好地解决难样本问题。本发明中是基于各样本与锚点的距离建模训练数据集中的样本难度的，而且对于正样本和负样本而言的样本难度定义是不同的：对于正样本而言，在特征空间中距离锚点越远，难度越大；对于负样本而言，在特征空间中距离锚点越近，难度越大。
[0043]
另外，本发明中还当前的模型训练进度与样本难度进行结合，从而得到训练数据集中每一个样本x的权重，通过控制样本的权重可以实现从易到难的学习过程。每一个样本x的权重w
x*,x,t
均需要结合当前的模型训练进度和样本难度进行计算，计算函数如下：
[0044][0045]
其中：σ表示归一化函数，d为距离计算函数，d(f(x
*
),f(x))表示样本x与锚点x
*
之间的距离，δ
t
表示与模型训练的当前迭代次数正相关的模型进度，表示以x
*
为锚点的样本集合。
[0046]
在本发明中，δ
t
的形式可以是多样的，其核心是与模型训练的当前迭代次数(iteration)正相关。在本实施例中，可采用的形式为其中t为模型训练的最大迭代次数。
[0047]
得到上述每一个样本x的权重w
x*,x,t
后，即可在后续训练过程中利用该权重来对常规三元组损失(triplet loss)中正负样本与锚点之间的距离进行修正。至此，可以通过调整训练进度来自适应地实现对难易样本区别学习，使得模型在学习阶段后期更加关注难样本，从而更好地解决难样本问题。
[0048]
s3、在三元组损失约束基础上结合记忆体对特征空间进行辅助约束，利用所述训练数据集对所述对步态识别模型进行迭代训练，且计算三元组损失时以所述样本权重对正样本和负样本相对于锚点之间的距离进行加权修正。
[0049]
在本实施例中，如图3所示，步骤s3的具体方法如下：
[0050]
s31、在学习过程中为了优化特征空间，降低难样本的学习难度，引入了记忆体的辅助信号监督训练过程，使类内特征空间更加紧凑，类间特征空间更加分散，为渐进式学习提供更好的优化方向，具体来说为了有利于跨条件跨角度检索，记忆体m的内容m[i]建模为每个人员id下的平均特征：
[0051][0052]
其中，2为训练数据集中索引为i的人员id对应的视频序列si中的一段，f(s)为视频序列段s经过特征提取器f提取后得到的特征，ns为视频序列si中的总段数；
[0053]
s32、为了保证在记忆体中特征的有效性和鲁棒性，如图4所示，本发明对记忆体中的特征进行了动量更新的结构对齐更新策略，使得在训练过程中这些特征被不断修正，有更好的表达能力，具体设置记忆体m的更新策略如下：
[0054][0055]
其中，m[i]
t
和m[i]
t＝1
分别表示更新后和更新前记忆体m的内容，yb表示当前训练批次中出现过的人员id组成的标签集合，yb表示当前训练批次中样本b的人员id标签，b表示当前训练批次中包含的样本集合，nb表示当前训练批次的大小，f(b)表示样本b经过特征提取器f(例如cnn)提取后得到的特征，α和β分别表示两种动量更新的动量超参数；
[0056]
s33、设置记忆体m对整体训练流程的监督信号，该监督信号用于约束特征空间的类间分散程度以及类内紧凑性以便于优化特征空间，记忆体监督信号损失l
gsam
的计算公式为：
[0057][0058]
其中，τ是用来平衡特征分布的温度系数，表示当前批次的平均特征；
[0059]
s34、针对三元组中正样本和负样本相对于锚点之间的距离用所述样本权重相乘进行加权修正，用加权修正后的距离值代替原距离值计算三元组损失l
drpl
，最终再以三元组损失l
drpl
和所述记忆体监督信号损失l
gsam
之和作为总损失，利用所述训练数据集对所述对步态识别模型进行迭代训练直至总损失收敛，得到训练后的步态识别模型。
[0060]
在本步骤中，所谓加权修正，也就是说在计算三元组损失时正样本与锚点的距离以及负样本与锚点的距离均需要乘上对应的样本权重实现加权修正，然后用加权修正后的加权距离值代替原距离值计算三元组损失l
drpl
，三元组损失的形式属于现有技术，不再赘述。在实际应用时，可以用矩阵形式来实现这个加权修正过程，即原距离矩阵d通过加权矩阵a进行重加权，得到加权距离矩阵d'。
[0061]
在上述s3的训练过程中，由于其结合训练进度按照样本的难度从易到难的学习顺序，并且在整个训练流程中使用记忆体的辅助信号进行监督，因此是一种动态重加权渐进式学习方法。需要说明的是，本发明的核心是改进了步态识别模型的渐进式学习方法，但所针对的步态识别模型可以是任意的现有技术中的步态识别模型，对此不做限定。
[0062]
s4、利用训练后的步态识别模型对目标步态数据进行步态识别。
[0063]
需要说明的是，在训练时，本方法确定特征提取器后可以在其上添加动态重加权渐进式学习方法和记忆体，从而实现了基于记忆增强的渐进式学习步态识别方法。但在测试或者实际应用时，只需要原本特征提取器提取出的特征用于步态识别即可。在进行实际的步态识别时，仅需要向训练后的步态识别模型中输入行人的视频序列，即可由其输出特征，通过对比找出来和待查询输入probe最像的人作为识别结果，进而输出行人身份。
[0064]
本发明提供的方法可以有效地在主流的特征提取器中实现较好地学习效果，后续实例在主流的数据集casia-b和ou-mvlp上，用实验结果充分验证了本方法及其组件的有效性。
[0065]
下面将上述方法应用于具体实施例中，以便本领域技术人员能够更好地理解本发明的效果。
[0066]
实施例
[0067]
本实施例的实现方法如前所述，不再详细阐述具体的步骤，下面仅针对案例数据展示其效果。本发明在两个具有真值标注的数据集上，按照一定的设定进行实施，分别为：
[0068]
casia-b数据集：包含124个人员id，11个视角，有13640段步态序列，该数据集将主要作为测试数据集。
[0069]
ou-mvlp数据集：包含10307个人员id，14个视角，是目标最大的学术数据集。
[0070]
本实例中所训练的步态识别模型为multiple-temporal-scale 3d convolutional neural network，训练后的步态识别模型记为gaitmpl。
[0071]
本实例用本方法训练的gaitmpl方法与其他主流方法进行对比，在casia-b和ou-mvlp数据集上进行训练和测试，验证本方法的有效性。最终测试结果的识别精度见表1和表2所示，表中数据显示了本发明提出的虚拟数据集作为预训练，对于本方法在casia-b数据集和ou-mvlp数据集上rank-1指标的表现有明显提升，尤其是在最复杂的换衣场景下有了明显提升，同时在平均条件下也有可观提升，更加符合真实条件下跨条件检索的需求，为后续应用提供了良好的基础。
[0072]
表1本实例在casia-b数据集上的测试结果
[0073][0074]
表2本实例在ou-mvlp数据集上的测试结果
[0075][0076]
需说明的是，上述表1和表2中，nm表示普通场景，bg表示背包场景，cl表示穿衣场景。cnn-lb、gaitset、gaitpart、gln、gaitnet、mt3d、dynamicgait均为现有技术中的步态识别模型，具体可参见以下现有技术文献(其中符号表示对应的数据为本实例的复现结果)：
[0077]
cnn-lb:wu,z.,huang,y.,wang,l.,wang,x.,&tan,t.(2016).a comprehensive study on cross-view gait based human identification with deep cnns.ieee transactions on pattern analysis and machine intelligence,39(2),209-226.
[0078]
gaitset:chao,h.,he,y.,zhang,j.,&feng,j.(2019,july).gaitset:regarding gait as a set for cross-view gait recognition.in proceedings of the aaai conference on artificial intelligence(vol.33,no.01,pp.8126-8133).
[0079]
gaitpart:fan,c.,peng,y.,cao,c.,liu,x.,hou,s.,chi,j.,...&he,z.(2020).gaitpart:temporal part-based model for gait recognition.in proceedings of the ieee/cvf conference on computer vision and pattern recognition(pp.14225-14233).
[0080]
gln:hou,s.,cao,c.,liu,x.,&huang,y.(2020,august).gait lateral network:learning discriminative and compact representations for gait recognition.in european conference on computer vision(pp.382-398).springer,cham.
[0081]
gaitnet:song,c.,huang,y.,huang,y.,jia,n.,&wang,l.(2019).gaitnet:an end-to-end network for gait based human identification.pattern recognition,96,106988.
[0082]
mt3d:lin,b.,zhang,s.,&bao,f.(2020,october).gait recognition with multiple-temporal-scale 3d convolutional neural network.in proceedings of the 28th acm international conference on multimedia(pp.3054-3062).
[0083]
dynamicgait:wu,h.,tian,j.,fu,y.,li,b.,&li,x.(2020).condition-aware comparison scheme for gait recognition.ieee transactions on image processing,30,2734-2744.
[0084]
通过以上技术方案，本发明实施基于记忆增强的渐进式学习步态识别方法，提供
了简单高效地处理步态识别中难样本的方法。本发明可以在主流的数据集上取得最佳的性能，并且其组件可以灵活插入到现有方法中去，可以在各种跨视角跨场景条件下表现优异。
[0085]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。