一种考生违规行为检测方法与流程

1.本发明属于行为检测技术领域，具体涉及一种考生违规行为检测方法。


背景技术：

2.由于各种学习和工作需要，会进行大量的考试，然而，不可避免的在考试中存在着的违纪、违规行为，严重影响了考试的公平、公正。因此准确识别、及时提醒和制止考生违纪违规行为，对于保证考试的公平性具有重要的意义。传统的人工监考可能存在违规违纪行为的漏判或误判。近年来，视频监控广泛应用于考试中，由于考生行为的多样性，若仅由监控人员对大量的实时视频进行分析，不仅效率低下，容易视觉疲劳，并且识别的正确率较低，对考试后的海量监控视频资料的检索也是十分艰巨的任务。因此，自动识别考生行为具有十分重要的应用价值。
3.视频理解在目前计算机视觉领域非常热，也是极具挑战的一个方向。行为检测作为视频理解方向很重要的一项技术，至今为止已经研究多年。行为检测简单的来说就是：对于给定的视频片段，截取出感兴趣的片断，比如女孩化妆、男生打球、跑步等等。该任务需要确定视频中行为的开始时间和结束时间。
4.行为检测虽然研究多年，但是至今更多的还是处于实验室数据集测试阶段，实用化和产业化比较少，由此可见该任务目前还是没有鲁棒性好的解决方案。行为检测和图像检测其实很相似，图像检测是按照图像中的目标进行软检测，行为检测也类似。最开始的时候类似于ucf数据集，都是采用的单标签，也就是一段视频只对应一个标签。现在更多的是每段视频中包含多个标签。相比于图像检测，视频多了一个时序维度，而这个问题恰恰是目前计算机领域令人头疼的问题。行为检测还有一个难点是视频段长度不一。这些问题都是导致行为检测难以实用化的重要原因。


技术实现要素：

5.本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种考生违规行为检测方法，其方法步骤简单，设计合理，实现方便，能够有效应用在考生违规行为检测中，基于openpose和resnet3d卷积深度学习神经网络，解决了视频检测任务中的长度不一和时序维度的困难，检测速度快，检测精度高，极大地减轻了相关人员的工作量，使得考试更加公平与公正，效果显著，便于推广。
6.为解决上述技术问题，本发明采用的技术方案是：一种考生违规行为检测方法，包括以下步骤：
7.步骤一、提取视频帧序列图像中考生上半身的姿体关节点，处理形成关节点序列图像；
8.步骤二、计算所述关节点序列图像中上一帧与当前帧对应关节点的位移差，初步筛选出含有疑似大动作的连续关节点序列图像；
9.步骤三、将含有疑似大动作对应的原始视频帧序列图像和连续关节点序列图像通
过双通道resnet3d卷积深度学习神经网络，分类出考生的违规行为；
10.步骤四、生成考生的违规行为动画及对应的时间戳。
11.上述的一种考生违规行为检测方法，所述考生上半身的姿体关节点包括嘴巴、脖子、左肩、左肘、左手掌、右肩、右肘、右手掌、左眼、右眼、左耳朵和右耳朵。
12.上述的一种考生违规行为检测方法，采用openpose网络提取视频帧序列图像中考生上半身的姿体关节点，具体过程包括：对考生上半身的特征信息进行提取得到特征向量集合f，并完成网络模型的迭代训练，通过计算每个关节点的积分图，得到对应的关节点坐标集合p，以及每个关节点对应的置信度c；
[0013][0014][0015]
其中，p＝{p(1),p(2),p(3),...,p(n)}表示视频帧图像中n名考生的上半身关节点信息，g表示关节点图像中关节点的真实坐标，表示卷积神经网络处理过程，o为高斯分布的参数，c＝{c0,c1,c2,...,c
12
}。
[0016]
上述的一种考生违规行为检测方法，所述openpose网络包括卷积层12层，池化层3层，卷积层的大小设置为3x3，池化层的大小设置为2x2，采用最大值池化。
[0017]
上述的一种考生违规行为检测方法，步骤二中所述计算关节点序列图像中上一帧与当前帧对应关节点的位移差，初步筛选出含有疑似大动作的连续关节点序列图像的具体过程包括：
[0018]
步骤201、根据公式d(δ
x
,δy)＝|pc(x,y)-p
p
(x,y)|计算相邻帧关节点图像上同一考生的各个姿体关节点的位移d(δ
x
,δy)，其中，pc(x,y)为当前帧姿体关节点的坐标，p
p
(x,y)为上一帧姿体关节点的坐标；
[0019]
步骤202、根据公式对各个姿体关节点的位移进行归一化，其中，n为位移归一化值，范围在0～1之间，dδ
x
为d(δ
x
,δy)中的x分量，dδy为d(δ
x
,δy)中的y分量，rw为矩形r的宽度，rh为矩形r的高度，r为考生上半身的各个关节点组成的外包络矩形；
[0020]
步骤203、当各个姿体关节点的位移归一化值中存在任一个值大于设置的阈值t1时，标记当前帧为大动作帧，并记为ar
l
＝1，其中，l表示帧号，ar
l
表示第l帧的矩形框r的单帧大动作帧标记；
[0021]
步骤204、在一个连续帧数为k的片断中，相同的位置r被标记为大动作帧的总帧数为
[0022]
步骤205、根据公式计算大动作帧的比率crj；
[0023]
步骤206、当大动作帧的比率crj大于设置的阈值t2时，这一片断被筛选为含有疑似大动作的连续关节点序列图像。
[0024]
上述的一种考生违规行为检测方法，阈值t1取值为0.2，阈值t2取值为0.6，k取值为
160。
[0025]
上述的一种考生违规行为检测方法，步骤三中所述将含有疑似大动作对应的原始视频帧序列图像和连续关节点序列图像通过双通道resnet3d卷积深度学习神经网络，分类出考生的违规行为的具体过程包括：
[0026]
步骤301、将所述含有疑似大动作对应的原始视频帧序列图像u(rmsi)作为第一通道resnet3d卷积深度学习神经网络的输入，输出特征向量f1；
[0027]
步骤302、将所述含有疑似大动作的连续关节点序列图像v(r
mki
)作为第二通道resnet3d卷积深度学习神经网络的输入，输出特征向量f2；
[0028]
步骤303、将所述特征向量f1和特征向量f2拼接，组合为向量f；
[0029]
步骤304、将所述向量f与全连接层fc相乘，得到网络输出结果l
′
(rmsi)；
[0030]
步骤305、采用softmax函数对l
′
(rmsi)进行归一化处理，c(rmsi)＝softmax(l
′
(rmsi))，得到大动作无需关注类别概率c1(rmsi)和大动作关注类别概率c2(rmsi)；
[0031]
步骤306、当大动作关注类别概率c2(rmsi)大于经验阈值t3时，分类为考生违规行为。
[0032]
上述的一种考生违规行为检测方法，所述特征向量f1和特征向量f2均为四维向量。
[0033]
上述的一种考生违规行为检测方法，所述经验阈值t3取值为0.5。
[0034]
上述的一种考生违规行为检测方法，步骤四中所述生成考生的违规行为动画及对应的时间戳的具体过程包括：对分类为考生违规行为的原始视频帧序列图像，每间隔8帧，抠取帧中第m个区域rm的图像，然后将图像序列组合成gif动态图，并以x_y_w_h_f_time.gif格式保存，其中，x，y分别为区域rm在图像中的横坐标和纵坐标，w，h分别为区域rm的宽度和高度，f为帧序列，time为保存时间。
[0035]
本发明与现有技术相比具有以下优点：
[0036]
1、本发明方法步骤简单，设计合理，实现方便。
[0037]
2、本发明采用openpose网络提取视频帧序列图像中考生上半身的姿体关节点，能够适用于多目标提取，且提取精准和迅速。
[0038]
3、本发明通过计算关节点序列图像中上一帧与当前帧对应关节点的位移差，防止疑似大动作的漏检，从而提高了检测的可靠性。
[0039]
4、本发明采用双通道resnet3d卷积深度学习神经网络，除了提取原始视频帧序列图像中的动作特征外，还提取了含有疑似大动作的连续关节点序列图像中的动作特点，尤其在含有疑似大动作的连续关节点序列图像中，去除了其他无用背景的干扰，从而进一步的提高了分类的精度。
[0040]
5、本发明生成考生的违规行为的gif动态图，比传统的图片展示更加人性化与智能化，比视频展示更加方便、快捷、存储体积更小。
[0041]
6、本发明能够有效应用在考生违规行为检测中，基于openpose和resnet3d卷积深度学习神经网络，解决了视频检测任务中的长度不一和时序维度的困难，检测速度快，检测精度高，极大地减轻了相关人员的工作量，使得考试更加公平与公正，效果显著，便于推广。
[0042]
综上所述，本发明方法步骤简单，设计合理，实现方便，能够有效应用在考生违规行为检测中，基于openpose和resnet3d卷积深度学习神经网络，解决了视频检测任务中的
长度不一和时序维度的困难，检测速度快，检测精度高，极大地减轻了相关人员的工作量，使得考试更加公平与公正，效果显著，便于推广。
[0043]
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
[0044]
图1为本发明的方法流程图；
[0045]
图2为本发明提取的姿体关节点的效果图；
[0046]
图3为本发明openpose网络结构图；
[0047]
图4为本发明resnet3d卷积深度学习神经网络结构图。
具体实施方式
[0048]
如图1所示，本发明的考生违规行为检测方法，包括以下步骤：
[0049]
步骤一、提取视频帧序列图像中考生上半身的姿体关节点，处理形成关节点序列图像；
[0050]
步骤二、计算所述关节点序列图像中上一帧与当前帧对应关节点的位移差，初步筛选出含有疑似大动作的连续关节点序列图像；
[0051]
步骤三、将含有疑似大动作对应的原始视频帧序列图像和连续关节点序列图像通过双通道resnet3d卷积深度学习神经网络，分类出考生的违规行为；
[0052]
步骤四、生成考生的违规行为动画及对应的时间戳。
[0053]
本实施例中，所述考生上半身的姿体关节点包括嘴巴、脖子、左肩、左肘、左手掌、右肩、右肘、右手掌、左眼、右眼、左耳朵和右耳朵。
[0054]
具体实施时，考生上半身的姿体关节点选取了12个点。
[0055]
本实施例中，采用openpose网络提取视频帧序列图像中考生上半身的姿体关节点，具体过程包括：对考生上半身的特征信息进行提取得到特征向量集合f，并完成网络模型的迭代训练，通过计算每个关节点的积分图，得到对应的关节点坐标集合p，以及每个关节点对应的置信度c；
[0056][0057][0058]
其中，p＝{p(1),p(2),p(3),...,p(n)}表示视频帧图像中n名考生的上半身关节点信息，g表示关节点图像中关节点的真实坐标，表示卷积神经网络处理过程，o为高斯分布的参数，c＝{c0,c1,c2,...,c
12
}。
[0059]
具体实施时，正在考试过程中的考生上半身的姿体示意图和对应的采用openpose网络提取的姿体关节点如图2所示。
[0060]
本实施例中，所述openpose网络包括卷积层12层，池化层3层，卷积层的大小设置为3x3，池化层的大小设置为2x2，采用最大值池化。
[0061]
具体实施时，openpose是依赖于卷积神经网络和监督学习实现人体姿态评估算法，其主要优点是适用于多人且较为精准和迅速，本发明采用的openpose网络结构如图3所
示。
[0062]
本实施例中，步骤二中所述计算关节点序列图像中上一帧与当前帧对应关节点的位移差，初步筛选出含有疑似大动作的连续关节点序列图像的具体过程包括：
[0063]
步骤201、根据公式d(δ
x
,δy)＝|pc(x,y)-pp(x,y)|计算相邻帧关节点图像上同一考生的各个姿体关节点的位移d(δ
x
,δy)，其中，pc(x,y)为当前帧姿体关节点的坐标，p
p
(x,y)为上一帧姿体关节点的坐标；
[0064]
步骤202、根据公式对各个姿体关节点的位移进行归一化，其中，n为位移归一化值，范围在0～1之间，dδ
x
为d(δ
x
,δy)中的x分量，dδy为d(δ
x
,δy)中的y分量，rw为矩形r的宽度，rh为矩形r的高度，r为考生上半身的各个关节点组成的外包络矩形；
[0065]
步骤203、当各个姿体关节点的位移归一化值中存在任一个值大于设置的阈值t1时，标记当前帧为大动作帧，并记为ar
l
＝1，其中，l表示帧号，ar
l
表示第l帧的矩形框r的单帧大动作帧标记；
[0066]
本实施例中，阈值t1取值为0.2；
[0067]
步骤204、在一个连续帧数为k的片断中，相同的位置r被标记为大动作帧的总帧数为
[0068]
本实施例中，k取值为160；
[0069]
步骤205、根据公式计算大动作帧的比率crj；
[0070]
步骤206、当大动作帧的比率crj大于设置的阈值t2时，这一片断被筛选为含有疑似大动作的连续关节点序列图像。
[0071]
本实施例中，阈值t2取值为0.6。
[0072]
具体实施时，在连续160帧数的片断中，在矩形框r的位置，有60％的图像帧被标记为大动作帧，则该片断就被筛选为含有疑似大动作的连续关节点序列图像。
[0073]
本实施例中，步骤三中所述将含有疑似大动作对应的原始视频帧序列图像和连续关节点序列图像通过双通道resnet3d卷积深度学习神经网络，分类出考生的违规行为的具体过程包括：
[0074]
步骤301、将所述含有疑似大动作对应的原始视频帧序列图像u(rmsi)作为第一通道resnet3d卷积深度学习神经网络的输入，输出特征向量f1；
[0075]
步骤302、将所述含有疑似大动作的连续关节点序列图像v(r
mki
)作为第二通道resnet3d卷积深度学习神经网络的输入，输出特征向量f2；
[0076]
具体实施时，通常图像分类使用的resnet网络的卷积核一般只是在2d图像上做滑动窗口，计算特征图，卷积核的形状一般为[out_channel,in_channel,width,height]，而本实施例中，针对视频片断的分类任务中，网络输入的是视频中的一段序列，使用160帧的基础帧，在原有宽、高维度上又增加了一个时间t的维度，因此要求卷积核的形状为[out_channel,in_channel,t,width,height]；因此，卷积核不止在2d平面上滑动，还需要在第三个维度t上移动，提取帧之间的关联特征，需要对2d的resnet进行改造，将其改造为3d的
resnet网络，resnet3d保持原有的resnet的整体架构不变，替换每个block中的basicblock或bottleneckblock中的2d卷积核为3d卷积核；同时池化层也需要替换为3d池化。第一通道resnet3d卷积深度学习神经网络和第二通道resnet3d卷积深度学习神经网络所采用的网络结构如图4所示。本发明采用双通道resnet3d网络，除了提取原始视频帧序列图像中的动作特征外，还提取了含有疑似大动作的连续关节点序列图像中的动作特点，尤其在含有疑似大动作的连续关节点序列图像中，去除了其他无用背景的干扰，从而进一步的提高了分类的精度。
[0077]
步骤303、将所述特征向量f1和特征向量f2拼接，组合为向量f；
[0078]
本实施例中，所述特征向量f1和特征向量f2均为四维向量；
[0079]
步骤304、将所述向量f与全连接层fc相乘，得到网络输出结果l
′
(rmsi)；
[0080]
步骤305、采用softmax函数对l
′
(rmsi)进行归一化处理，c(rmsi)＝softmax(l
′
(rmsi))，得到大动作无需关注类别概率c1(rmsi)和大动作关注类别概率c2(rmsi)；
[0081]
步骤306、当大动作关注类别概率c2(rmsi)大于经验阈值t3时，分类为考生违规行为。
[0082]
本实施例中，所述经验阈值t3取值为0.5。
[0083]
本实施例中，步骤四中所述生成考生的违规行为动画及对应的时间戳的具体过程包括：对分类为考生违规行为的原始视频帧序列图像，每间隔8帧，抠取帧中第m个区域rm的图像，然后将图像序列组合成gif动态图，并以x_y_w_h_f_time.gif格式保存，其中，x，y分别为区域rm在图像中的横坐标和纵坐标，w，h分别为区域rm的宽度和高度，f为帧序列，time为保存时间。
[0084]
具体实施时，时间戳用于回溯和追踪，同时为了结省硬盘存储空间，本发明并不针对片断的所有帧进行存储，而是间隔8帧采样的形式进行保存。
[0085]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0086]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0087]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0088]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或
其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0089]
前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。