基于人工智能的校园学生安全监视系统及方法与流程

本发明涉及安全监视，更具体地说，本发明涉及基于人工智能的校园学生安全监视系统及方法。

背景技术：

1、申请公开号为cn110910549a的专利公开了基于深度学习和人脸识别特征的校园人员安全管理系统，包括后台管理系统和多个门禁系统组成的通道组，后台管理系统中又包括师生卡务信息与考勤管理、嵌入式设备信息维护、人脸采集app；通道组分为障碍通道组与无障碍通道组，其中障碍通道组配设刷卡设备或视频识别设备，无障碍通道组配设视频识别设备和高清监视摄像头，当学生和教师刷校园卡通过障碍通道组时，刷卡设备采集校园卡的信息或视频识别设备采集通过人员的人脸图像，由识别设备根据识别方法，对学生和教师预先在后台系统数据库内设定的校园卡识别码，或对已经存入数据库的个人照片信息进行对比识别，从而判断学生是否通过通道组进校、离校、出入宿舍，学生教师是否正常出勤。

2、但是现有系统主要依赖于人工巡查或单一传感器数据，无法全面感知和分析学生的行为状态，同时也缺乏对环境因素的考虑；这种局限性导致学校难以深入了解学生的行为特点和安全隐患，无法为有效预防提供全面的依据；其次，现有的行为分析方法大多局限于单一模态的数据，无法充分融合多样化数据，难以建立起准确的学生行为模式；现有的行为建模难以适应学生个性化的行为特点，从而影响了异常检测的准确性和针对性，不利于及时发现和预防学生的异常行为；再者，现有的异常检测方法大多依赖于预设的规则或阈值，缺乏基于学习的自适应性；这种方法无法针对不同学生的个性化特点进行精准的异常行为检测，容易出现误报或漏报的情况。

3、鉴于此，本发明提出基于人工智能的校园学生安全监视系统及方法以解决上述问题。

技术实现思路

1、为了克服现有技术的上述缺陷，为实现上述目的，本发明提供如下技术方案：基于人工智能的校园学生安全监视系统，包括：数据采集模块，用于采集学生的行为数据和学生所处的环境参数；

2、数据融合模块，用于将行为数据和环境参数输入到基于变分自编码器的多模态融合深度学习模型中，输出统一行为嵌入向量序列；

3、行为模式拟合模块，用于利用改进双重决策q学习算法，对学生的正常行为进行建模，生成基线行为模式；

4、异常检测模块，用于将统一行为嵌入向量序列与基线行为模式，基于马尔可夫决策算法计算出异常分数，并获取异常分数对应的置信度；

5、异常判定模块，用于预设异常阈值，当异常分数大于或等于异常阈值，且异常分数对应的置信度大于或等于预设的置信水平时，则判定为异常行为，并将行为数据和环境参数发送给安全监视终端，各个模块之间通过有线和/或无线的方式进行连接。

6、进一步地，所述行为数据包括行动轨迹数据、活动时间数据、行为姿态数据、语音数据、社交互动数据和学习行为数据；环境参数包括温度数据、湿度数据、光照强度、噪音水平和人流密度。

7、进一步地，所述行动轨迹数据的获取方式包括：

8、部署摄像头覆盖校园各个区域，并建立摄像头的网络拓扑图，用于记录相邻摄像头的关系，使用yolov5实时目标检测算法对摄像头采集的n帧图像帧进行人员检测，得到学生的n个检测框；并应用deepsort算法对检测框进行初步跟踪，得到初步轨迹；将初步轨迹进行约束计算得到行动轨迹数据。

9、进一步地，所述将初步轨迹进行约束计算得到行动轨迹数据的方式包括：

10、定义初步跟踪的运动成本矩阵c，运动成本矩阵c中的元素<mi>c[i,j]</mi>表示将检测框分配给运动轨迹的成本；

11、定义外观相似度和运动一致性；

12、<mi>c[i,j]=w1</mi><mi>×</mi><mi>(1-sa[i,j])+w2</mi><mi>×</mi><mi>(1-sm[i,j])</mi>；其中是外观权重系数，是运动权重系数；<mi>sa[i,j]</mi>表示检测框和轨迹之间的外观相似度；<mi>sm[i,j]</mi>表示检测框和轨迹预测位置之间的运动一致性；

13、利用resnet深度特征提取网络将检测框和轨迹转化为各自对应的特征向量，并计算得到检测框和轨迹各自对应的特征向量之间的外观相似度；计算公式为：

14、<mi>sa[i,j]=cosine(f</mi><mi>i</mi><mi>,f</mi><mi>j</mi><mi>)</mi>；其中，和分别是检测框和轨迹的特征向量；为余弦相似度函数；

15、运动一致性的计算公式为：

16、<mi>sm[i,j]=exp(</mi><mi>-</mi><mi>(</mi><mi>α×</mi><msup><mrow><mi>||pi</mi><mi>-</mi><mi>pj_pred||</mi></mrow><mn>2</mn></msup><mo>+</mo><mi>β×</mi><msup><mrow><mi>||vi</mi><mi>-</mi><mi>vj||</mi></mrow><mn>2</mn></msup><mi>/</mi><msup><mi>σ</mi><mn>2</mn></msup><mi>)</mi><mi>×</mi><mi>exp(</mi><mi>-</mi><mi>λ×δ</mi><mi>t)</mi>；

17、其中，是检测框的位置，是轨迹预测的位置，是缩放因子，为位置权重参数，为速度权重参数，为时间衰减率，是当前图像帧与轨迹最后一次更新之间的时间间隔；和分别是检测框和轨迹的速度向量；利用外观相似度和运动一致性规划得到行动轨迹数据。

18、进一步地，所述利用外观相似度和运动一致性规划得到行动轨迹数据的方式包括：

19、若，则违反约束，其中和分别是当前时间点的图像帧和上一时间点的图像帧的检测框对应的特征向量，是外观阈值；

20、若，则违反约束，其中和分别是当前时间点的图像帧和上一时间点的图像帧的速度向量，是速度阈值；

21、若违反约束，则将<mi>c[i,j]</mi>增加成本：

22、；其中，和是惩罚系数；

23、基于所有的图像帧，找到成本矩阵c的最优分配，即使得总的成本最小，得到一个分配矩阵x，分配矩阵x中的元素<mi>x[i,j]=1</mi>表示检测框被分配给轨迹，否则<mi>x[i,j]=0</mi>；

24、定义一个关联阈值，对于每个检测框和轨迹，若<mi>x[i,j]=1</mi>且<mi>c[i,j]</mi><mi>≤</mi><mi>tas</mi>；则将检测框i关联到轨迹j；否则检测框和轨迹不关联；

25、对于未进行关联的检测框，设置新轨迹阈值，若连续帧图像帧检测到同样位置的未进行关联的检测框，且，则创建新的轨迹；对于未进行关联的轨迹，设置一个轨迹终止阈值；若轨迹连续帧图像帧未被关联，且，则终止该轨迹；

26、使用卡尔曼滤波器或简单的线性预测预测下一帧图像帧中轨迹的位置，即建立完整的轨迹，即为行动轨迹数据。

27、进一步地，所述活动时间数据的获取方式包括：

28、利用检测得到的学生的检测框，记录学生出现在各个学校区域的时间戳，并计算学生在各个学校区域的停留时长，停留时长=离开时间-到达时间；根据学生的行动轨迹数据，生成包含时间戳的序列数据，作为活动时间数据；

29、所述行为姿态数据的获取方式包括：

30、将图像帧输入预先构建完成的改进openpose网络模型中，输出人体关键点的二维坐标，记作关键点坐标；将关键点坐标投影到3d空间，最小化投影误差，得到行为姿态数据；

31、投影误差，其中，为第个关键点坐标，为第个3d模板的关节坐标，为旋转矩阵，为平移向量；

32、改进openpose网络模型的构建方式包括：

33、将改进openpose网络模型的骨干网络的网络结构替换为mobilenet网络，同时加入注意力机制；

34、注意力机制的公式为：；其中，为输入的图像帧，为通道注意力权重，为空间注意力权重，为注意力加权后的特征图；为元素级乘法；

35、定义openpose网络模型的损失函数；其中，为第个关键点的残差值；是第个关键点的注意力权重，通过注意力机制自适应计算；为自适应核函数；若，则；若；则；其中，是自适应调节系数；

36、自适应调节系数，其中，为超参数，为的中位数；

37、采集n2组包含人体的图像，并将图像标注人体关键点的二维坐标作为训练所用标签，构成训练数据集；定义优化器并利用训练数据集训练改进openpose网络模型，当损失函数在连续m1次训练的过程中不再下降的中，保留最后一次训练优化器优化得到的改进openpose网络模型的参数，即完成对改进openpose网络模型的构建。

38、进一步地，所述语音数据的获取方式包括：

39、利用设置的分布在校园各个区域的的麦克风，获取混合语音信号，将混合语音信号利用独立成分分析分离成独立的声源；并在独立成分分析的过程中将时域和频域进行联合优化；得到语音数据；构建联合优化目标函数，其中，为权衡系数，为时域目标函数，为频域的目标函数，为联合优化目标函数的参数，是正则化项；为正则化系数；

40、<mi>j_time(b)</mi><mi>=</mi><mstyle><msub><mo>∑</mo><mi>l</mi></msub><mrow><mi>[h(gaussian)-h(</mi><msub><mi>y</mi><mi>l</mi></msub><mi>)]</mi></mrow></mstyle>；其中，表示熵，是同方差高斯分布的熵，第个混合语音信号；

41、<mi>j_freq(b)</mi><mi>=</mi><mstyle><msub><mo>∑</mo><mi>l</mi></msub><mrow><mi>[h(gaussian)-h(</mi><msub><mi>d</mi><mi>l</mi></msub><mi>)]</mi></mrow></mstyle>，其中，为第个混合语音信号的频谱。

42、进一步地，所述统一行为嵌入向量序列的输出方式包括：

43、将行为数据进行预处理，将行为数据转换为统一的数值表示形式；将环境参数进行参数预处理；

44、将不同模态的行为数据分别进行特征提取，获得对应的行为特征向量；将环境参数使用全连接层进行特征提取，获得对应的环境特征向量；

45、多模态融合深度学习模型包括一个编码器和一个解码器；编码器将不同模态的行为特征向量和环境特征向量编码为一个潜在的融合向量，解码器则将该融合向量解码为重构的多模态特征向量；

46、定义多模态融合深度学习模型的融合损失函数，采集历史数据，基于历史数据通过最小化融合损失函数，训练多模态融合深度学习模型；

47、所述融合损失函数，其中，为重构误差项，为kl散度正则化项，为差异权重系数，为最大均值差异项；为预设的变分分布，为编码器输出的融合向量；为编码器输出的融合向量的先验分布；

48、；其中，为函数空间，用于定义函数的集合；为期望函数，表示在下的期望值；表示在函数空间中寻找函数的最大值；为内的变量；为内的变量；

49、使用训练完成的多模态融合深度学习模型，将行为数据和环境参数对应的特征向量输入，得到一个统一行为嵌入向量，继而得到统一行为嵌入向量序列。

50、进一步地，所述基线行为模式的生成方式包括：

51、定义状态空间，将行为特征向量和环境特征向量映射为状态空间内的状态；定义学生执行的一系列行为作为行为空间，并将行为空间设计为层次化的结构，包括高级行为和低级行为；

52、确定个优化目标，针对每个优化目标，定义一个对应的单一目标奖励函数；

53、，其中，为核函数；状态-动作对的示例；为核系数，为示例的数量，为求和的索引；

54、将个单一目标奖励函数聚合成一个多目标奖励函数；

55、；其中，为优化目标的权重；

56、将状态空间和行为空间交互过程中获得的状态转移元组存储在预设的经验回放池中，其中，为时刻的状态，为时刻的动作，为时刻根据多目标奖励函数计算得到的奖励值，为时刻的状态；

57、分别定义两个独立的q网络和，使用一个q网络的值来选择最优的行为，另一个q网络的值来计算目标值；并且引入两个目标q网络'和，定期从和复制参数过来，用于同步计算目标值；并将优化的目标定义为最小化两个q网络的均方误差损失，将经验回放池分布在m5个计算节点上，并行地进行数据采样和更新；运用学生历史的行为数据和所处的环境参数训练q网络，根据当前的状态选择动作，执行该动作，观察到下一状态和奖励值，并更新q网络，迭代得到训练完成的训练完成的q网络；

58、采集学生的正常行为数据以及对应所处的环境参数，将其作为初始状态，对于初始状态，使用训练完成的q网络，执行贪婪策略得到一系列最优行为序列，最优行为序列就构成了学生的基线行为模式。

59、所述异常分数的计算方式包括：

60、将学生的行为建模为一个马尔可夫决策过程，其中，将马尔可夫决策过程的交互状态定义为统一行为嵌入向量序列；

61、基线行为模式表示为一个最优行为序列，其中，为第个时间步的基线行为向量；将马尔可夫决策过程的交互行为定义为是基线行为向量；

62、定义状态转移概率和奖励函数，使用前向算法计算统一行为嵌入向量序列的概率，将该概率的值的负对数作为异常分数；

63、奖励函数，其中，为sigmoid函数，和是可学习参数，为的转置；

64、；其中，为第个时间步的基线行为向量的权重；

65、将异常分数作为输入学习一个高斯过程回归模型，输出异常分数的置信度。

66、基于人工智能的校园学生安全监视方法，其基于所述的基于人工智能的校园学生安全监视系统实现，包括：s1、采集学生的行为数据和学生所处的环境参数；

67、s2、将行为数据和环境参数输入到基于变分自编码器的多模态融合深度学习模型中，输出统一行为嵌入向量序列；

68、s3、利用改进双重决策q学习算法，对学生的正常行为进行建模，生成基线行为模式；

69、s4、将统一行为嵌入向量序列与基线行为模式，基于马尔可夫决策算法计算出异常分数，并获取异常分数对应的置信度；

70、s5、预设异常阈值，当异常分数大于或等于异常阈值，且异常分数对应的置信度大于或等于预设的置信水平时，则判定为异常行为，并将行为数据和环境参数发送给安全监视终端。

71、本发明基于人工智能的校园学生安全监视系统及方法的技术效果和优点：

72、本发明能够全面感知和分析学生的行为状态，不仅采集了学生的多样化的行为数据，还融合了环境参数，构建出统一的行为嵌入向量序列，为后续的异常检测奠定了基础，全方位的数据采集和融合，使得学校能够更加深入地了解学生的行为特点，为有效预防和应对各类安全隐患提供了重要依据；其次，采用了自适应的行为建模算法，能够根据学生的个性化特点，动态地建立起他们的正常行为模式，通过分析学生历史的行为数据和环境参数，学习出最优的行为策略，大大提高了异常检测的准确性和针对性，有利于及时发现和预防学生的异常行为；再者，借助于马尔可夫决策过程和高斯过程回归模型，不仅能够计算出异常分数，还能给出异常行为的置信度，使得整个过程更加智能和可解释，一方面，通过计算异常分数来衡量学生当前行为与基线行为模式的偏离程度，能够更加精准地识别出潜在的安全隐患；另一方面，给出异常行为的置信度，则为学校采取针对性措施提供了重要依据，避免了误报或漏报的风险。