一种基于深度学习的高精度多角度行为识别方法

技术特征：
1.一种基于深度学习的高精度多角度行为识别方法，其特征在于，包括：步骤1，以摄像设备作为边缘缓存节点，多台摄像设备同一时段从同一高度不同的水平角度收集同一行为的原始视频数据，并上传至服务器，对原始视频数据进行预处理，得到按时间顺序的图片帧；步骤2，基于步骤1所得图片帧，应用对比学习思想搭建用于动作分类的卷积神经网络模型；步骤3，使用训练好的卷积神经网络模型对预处理完的图片帧进行动作分类得到并反馈行为识别结果。2.根据权利要求1所述基于深度学习的高精度多角度行为识别方法，其特征在于，所述步骤1中原始视频数据处理过程包括：首先，将视频按时间顺序切割成图片帧；其次，对得到的图片帧进行区别性命名；最后，将不同角度的图片帧放在同一文件夹中，图片帧的时序顺序不变。3.根据权利要求2所述基于深度学习的高精度多角度行为识别方法，其特征在于，所述将不同角度的图片帧放在同一文件夹中是指：以每个水平角度收集的原始视频数据得到的图片帧为一组，将每两组图片帧独立地放在一个文件夹中，每个文件夹中的每组图片帧中，图片帧的时序顺序不变。4.根据权利要求1所述基于深度学习的高精度多角度行为识别方法，其特征在于，所述对比学习思想，是在欧氏空间中将正样本距离拉近，将正样本与负样本距离拉远，在视频数据中，以同一时间不同角度的任意两个图片帧数据x1和x2为一对正样本，经过神经网络编码后提取出一对特征表示对，分别最小化其负余弦相似性以达到拉近正样本距离的目的。5.根据权利要求4所述基于深度学习的高精度多角度行为识别方法，其特征在于，所述卷积神经网络模型基于siamese network孪生神经网络框架进行搭建，包括输入层、隐藏层和输出层，所述输入层的输入为若干对所述的正样本，所述隐藏层分别对所述一对正样本进行编码，处理后由输出层输出数据。6.根据权利要求5所述基于深度学习的高精度多角度行为识别方法，其特征在于，所述隐藏层由编码函数f(
·
)和编码函数g(
·
)组成，编码函数f(
·
)包括一个主干网络和一个投影头，每一对所述的正样本在编码函数f(
·
)编码时共享权重，编码函数g(
·
)作为预测头；编码函数f(
·
)的编码结果表示为：编码函数g(
·
)的编码结果表示为：其中，ω1和b1为编码函数f(
·
)的训练参数，ω2和b2为编码函数g(
·
)的训练参数。7.根据权利要求5所述基于深度学习的高精度多角度行为识别方法，其特征在于，所述卷积神经网络模型的损失l的计算过程：最小化p1和z2的负余弦相似性：
最小化p2和z1的负余弦相似性：d(p1，z2)为p1和z2间的欧式距离，d(p2，z1)为p2和z1间的欧式距离，||
·
||2是l2范数；整体损失定义为：其中stopgrad(
·
)为停止梯度操作；最后利用深度神经网络进行迭代训练，得到使得损失函数最小的压缩自动编码器参数θ＝{w，b}，其中b为偏置项，w为训练参数。

技术总结
本发明为一种基于深度学习的高精度多角度行为识别方法，首先，收集原始视频数据，对原始视频数据进行数据预处理；其次，基于对比学习的思想应用深度神经网络构建深度学习模型；然后通过深度前馈网络对预处理得到的数据进行特征提取，提取完成后进一步进行动作分类；最后反馈分类后的结果。本发明使用对比学习方法构建自监督模型对数据进行动作分类，有效增强数据特征提取的鲁棒性，使模型学习到更有利于行为分类的知识，并满足了在实际场景下对视频数据中目标行为分类的高准确度需求，为后续依据分类结果进行的其他操作提供良好基础。依据分类结果进行的其他操作提供良好基础。依据分类结果进行的其他操作提供良好基础。


技术研发人员：庄旭菲 张润秀 许志伟 王永生
受保护的技术使用者：内蒙古工业大学
技术研发日：2022.01.27
技术公布日：2022/6/1