一种考生违规行为检测方法与流程

技术特征：
1.一种考生违规行为检测方法，其特征在于，包括以下步骤：步骤一、提取视频帧序列图像中考生上半身的姿体关节点，处理形成关节点序列图像；步骤二、计算所述关节点序列图像中上一帧与当前帧对应关节点的位移差，初步筛选出含有疑似大动作的连续关节点序列图像；步骤三、将含有疑似大动作对应的原始视频帧序列图像和连续关节点序列图像通过双通道resnet3d卷积深度学习神经网络，分类出考生的违规行为；步骤四、生成考生的违规行为动画及对应的时间戳。2.按照权利要求1所述的一种考生违规行为检测方法，其特征在于，所述考生上半身的姿体关节点包括嘴巴、脖子、左肩、左肘、左手掌、右肩、右肘、右手掌、左眼、右眼、左耳朵和右耳朵。3.按照权利要求2所述的一种考生违规行为检测方法，其特征在于，采用openpose网络提取视频帧序列图像中考生上半身的姿体关节点，具体过程包括：对考生上半身的特征信息进行提取得到特征向量集合f，并完成网络模型的迭代训练，通过计算每个关节点的积分图，得到对应的关节点坐标集合p，以及每个关节点对应的置信度c；图，得到对应的关节点坐标集合p，以及每个关节点对应的置信度c；其中，p＝{p(1),p(2),p(3),...,p(n)}表示视频帧图像中n名考生的上半身关节点信息，g表示关节点图像中关节点的真实坐标，表示卷积神经网络处理过程，o为高斯分布的参数，c＝{c0,c1,c2,...,c
12
}。4.按照权利要求3所述的一种考生违规行为检测方法，其特征在于，所述openpose网络包括卷积层12层，池化层3层，卷积层的大小设置为3x3，池化层的大小设置为2x2，采用最大值池化。5.按照权利要求2所述的一种考生违规行为检测方法，其特征在于，步骤二中所述计算关节点序列图像中上一帧与当前帧对应关节点的位移差，初步筛选出含有疑似大动作的连续关节点序列图像的具体过程包括：步骤201、根据公式d(δ
x
,δ
y
)＝|p
c
(x,y)-p
p
(x,y)|计算相邻帧关节点图像上同一考生的各个姿体关节点的位移d(δ
x
,δ
y
)，其中，p
c
(x,y)为当前帧姿体关节点的坐标，p
p
(x,y)为上一帧姿体关节点的坐标；步骤202、根据公式对各个姿体关节点的位移进行归一化，其中，n为位移归一化值，范围在0～1之间，dδ
x
为d(δ
x
,δ
y
)中的x分量，dδ
y
为d(δ
x
,δ
y
)中的y分量，r
w
为矩形r的宽度，r
h
为矩形r的高度，r为考生上半身的各个关节点组成的外包络矩形；步骤203、当各个姿体关节点的位移归一化值中存在任一个值大于设置的阈值t1时，标记当前帧为大动作帧，并记为ar
l
＝1，其中，l表示帧号，ar
l
表示第l帧的矩形框r的单帧大动作帧标记；
步骤204、在一个连续帧数为k的片断中，相同的位置r被标记为大动作帧的总帧数为步骤205、根据公式计算大动作帧的比率cr
j
；步骤206、当大动作帧的比率cr
j
大于设置的阈值t2时，这一片断被筛选为含有疑似大动作的连续关节点序列图像。6.按照权利要求5所述的一种考生违规行为检测方法，其特征在于，阈值t1取值为0.2，阈值t2取值为0.6，k取值为160。7.按照权利要求5所述的一种考生违规行为检测方法，其特征在于，步骤三中所述将含有疑似大动作对应的原始视频帧序列图像和连续关节点序列图像通过双通道resnet3d卷积深度学习神经网络，分类出考生的违规行为的具体过程包括：步骤301、将所述含有疑似大动作对应的原始视频帧序列图像u(r
m
s
i
)作为第一通道resnet3d卷积深度学习神经网络的输入，输出特征向量f1；步骤302、将所述含有疑似大动作的连续关节点序列图像v(r
m
k
i
)作为第二通道resnet3d卷积深度学习神经网络的输入，输出特征向量f2；步骤303、将所述特征向量f1和特征向量f2拼接，组合为向量f；步骤304、将所述向量f与全连接层fc相乘，得到网络输出结果l
′
(r
m
s
i
)；步骤305、采用softmax函数对l
′
(r
m
s
i
)进行归一化处理，c(r
m
s
i
)＝soft max(l
′
(r
m
s
i
))，得到大动作无需关注类别概率c1(r
m
s
i
)和大动作关注类别概率c2(r
m
s
i
)；步骤306、当大动作关注类别概率c2(r
m
s
i
)大于经验阈值t3时，分类为考生违规行为。8.按照权利要求7所述的一种考生违规行为检测方法，其特征在于，所述特征向量f1和特征向量f2均为四维向量。9.按照权利要求7所述的一种考生违规行为检测方法，其特征在于，所述经验阈值t3取值为0.5。10.按照权利要求7所述的一种考生违规行为检测方法，其特征在于，步骤四中所述生成考生的违规行为动画及对应的时间戳的具体过程包括：对分类为考生违规行为的原始视频帧序列图像，每间隔8帧，抠取帧中第m个区域rm的图像，然后将图像序列组合成gif动态图，并以x_y_w_h_f_time.gif格式保存，其中，x，y分别为区域rm在图像中的横坐标和纵坐标，w，h分别为区域rm的宽度和高度，f为帧序列，time为保存时间。

技术总结
本发明公开了一种考生违规行为检测方法，包括步骤一、提取视频帧序列图像中考生上半身的姿体关节点，处理形成关节点序列图像；二、计算关节点序列图像中上一帧与当前帧对应关节点的位移差，初步筛选出含有疑似大动作的连续关节点序列图像；三、将含有疑似大动作对应的原始视频帧序列图像和连续关节点序列图像通过双通道Resnet3D卷积深度学习神经网络，分类出考生的违规行为；四、生成考生的违规行为动画及对应的时间戳。本发明方法步骤简单，设计合理，实现方便，能够有效应用在考生违规行为检测中，检测速度快，检测精度高，极大地减轻了相关人员的工作量，使得考试更加公平与公正，效果显著，便于推广。便于推广。便于推广。


技术研发人员：郭毅 韩进
受保护的技术使用者：全美测评技术（北京）有限公司
技术研发日：2021.12.08
技术公布日：2022/3/15